Amazon Managed Workflows for Apache Airflow
Apache Airflowのためのセキュアで可用性が高いマネージドワークフローオーケストレーション
Apache Airflow を大規模に展開することで、インフラストラクチャの管理に伴う運用負荷を軽減します。
Apache Airflow ワークロードを、独自の分離された安全なクラウド環境で実行します。
Amazon CloudWatch 統合を通じて環境をモニタリングし、運用コストとエンジニアリングオーバーヘッドを削減します。
AWS、クラウド、またはオンプレミスのリソースに、Apache Airflow プロバイダーまたはカスタムプラグインを介して接続します。
仕組み
Amazon Managed Workflows for Apache Airflow (MWAA) は、Python で記述された Directed Acyclic Graphs (DAG) を使用して、ワークフローを調整します。MWAA に、DAG、プラグイン、Python の要件が存在する Amazon Simple Storage Service (S3) バケットを提供します。次に、AWS マネジメントコンソール、コマンドラインインターフェイス (CLI)、Software Development Kit (SDK)、または Apache Airflow ユーザーインターフェイス (UI) から DAG を実行してモニタリングします。
ユースケース
複雑なワークフローをサポートする
ビッグデータプロバイダーからの複雑なデータを準備および処理する、スケジュールされたワークフローまたはオンデマンドワークフローを作成します。
抽出、変換、ロード (ETL) ジョブを調整する
複雑な ETL ワークフロー内で多様なテクノロジーを使用する複数の ETL プロセスをオーケストレートします。
ML データを準備する
パイプラインを自動化して、機械学習 (ML) モデリングシステムがデータを取り込んでトレーニングするのをサポートします。