Amazon Managed Workflows for Apache Airflow
Apache Airflow를 위한 고가용성의 안전한 관리형 워크플로 오케스트레이션
기본 인프라 관리 운영에 대한 부담 없이 규모에 맞게 Apache Airflow를 배포할 수 있습니다.
격리되고 안전한 자체 클라우드 환경에서 Apache Airflow 워크로드를 실행할 수 있습니다.
Amazon CloudWatch 통합을 통해 환경을 모니터링하여 운영 비용 및 엔지니어링 오버헤드를 줄일 수 있습니다.
Apache Airflow 제공업체 또는 사용자 지정 플러그인을 통해 AWS, 클라우드 또는 온프레미스 리소스에 연결할 수 있습니다.
작동 방식
Amazon Managed Workflows for Apache Airflow(MWAA)는 Python으로 작성된 Directed Acyclic Graph(DAG)를 사용하여 워크플로를 오케스트레이션합니다. MWAA에 사용할 Amazon Simple Storage Service(S3) 버킷을 지정하면 이 위치에 DAG, 플러그인 및 Python 요구 사항이 저장됩니다. 그런 다음 AWS Management Console, 명령줄 인터페이스(CLI), 소프트웨어 개발 키트(SDK) 또는 Apache Airflow 사용자 인터페이스(UI)에서 DAG를 실행하고 모니터링할 수 있습니다.
사용 사례
복잡한 워크플로 지원
빅 데이터 공급자의 복잡한 데이터를 준비하고 처리하는 예약 또는 온디맨드 워크플로를 만듭니다.
추출, 전환, 적재(ETL) 작업 코디네이션
복잡한 ETL 워크플로 내에서 다양한 기술을 사용하는 여러 ETL 프로세스를 오케스트레이션합니다.
ML 데이터 준비
파이프라인을 자동화하여 기계 학습 모델링 시스템이 데이터를 수집하고 학습하도록 돕습니다.
시작하는 방법
기능 살펴보기
간단한 Apache Airflow 배포, 자동 크기 조정, 보안 및 기타 정보에 대해 알아보세요.
무료 계정을 사용하여 구축 시작하기
AWS 프리 티어에 즉시 액세스할 수 있습니다.
MWAA 사용 시작하기
콘솔에서 Amazon MWAA 구축을 시작하세요.