Amazon DynamoDB の統合

Amazon DynamoDB と Amazon OpenSearch Service のゼロ ETL 統合

Amazon DynamoDB と Amazon OpenSearch Service のゼロ ETL 統合は、DynamoDB から OpenSearch Service へのほぼリアルタイムのレプリケーションを備えたコーディング不要ののフルマネージド型 ETL パイプラインを提供します。このゼロ ETL 統合により、お客様はデータを DynamoDB から OpenSearch Service に数秒でシームレスに同期できるため、抽出、変換、ロード (ETL) 操作のための複雑なデータパイプラインを構築および維持するためのカスタムコードを作成する必要がなくなります。この統合により、トランザクションデータベースと検索データベース間でデータの同期を維持するために必要な運用上の負担とコストが軽減され、お客様は中核となるビジネス上の課題に集中できるようになります。 

DynamoDB コンソールの [統合] タブで最初のパイプラインをすばやく作成できます。この統合は、Amazon OpenSearch Ingestion パイプラインを活用して、DynamoDB データの変換、ルーティング、特定の OpenSearch Service のインデックスへのマッピングを定義および処理します。

このゼロ ETL 統合により、全文検索、地理空間検索、ベクトル検索などのためのインデックスを簡単に作成できます。OpenSearch Service の検索と集約は DynamoDB クエリと連携して、インタラクティブでパフォーマンスの高いアプリケーションを実現します。DynamoDB のお客様は、OpenSearch Service の広範な検索機能と機械学習機能を活用して、ユーザーエンゲージメントを高め、アプリケーションに対する満足度を向上させる新しいエクスペリエンスを提供できるようになりました。詳細については、このゼロ ETL チュートリアルをご覧ください。

AWS Lambda によるイベントベースのトリガー

Amazon DynamoDB の AWS Lambda トリガーを使用すると、DynamoDB 内の項目が変更されたときに実行するカスタムロジックを簡単に設定できます。DynamoDB ストリームを有効ににした後、DynamoDB コンソールの [エクスポートとストリーム] タブから最初のトリガーをすばやく作成できます。トリガーを設定すると、テーブル内のデータが変更されてから数秒以内に Lambda コードがトリガーされます。

DynamoDB 用 AWS Lambda トリガーを使用すると、データを検証して強化するためのデータベーストリガーを簡単に構築したり、データをレプリケートして他のサービスと統合したり、DynamoDB テーブルのデータ変更に反応する完全なイベント駆動型アーキテクチャ (注文処理やメディア処理など) を構築したりできます。Lambda 関数は、通知の送信やワークフローの開始など、指定したアクションを実行できます。  

Amazon DynamoDB Accelerator

Amazon DynamoDB Accelerator (DAX) は、Amazon DynamoDB 用に構築された可用性の高いフルマネージドキャッシュサービスです。DAX は、1 秒あたり数百万のリクエストにおいても、ミリ秒からマイクロ秒へと最大 10 倍のパフォーマンス向上を実現します。DAX はすべてのキャッシュの無効化とデータ入力を管理して、DynamoDB テーブルにインメモリアクセラレーションを追加します。DAX はインラインキャッシュです。キャッシュされた項目が存在しない場合や古い場合、DAX は自動的に基になるテーブルに渡されます。

スケーリングのパフォーマンスについて心配することなく、顧客向けのアプリケーションの構築に集中できます。DAX は既存の DynamoDB API の呼び出しと互換性があるため、アプリケーションを変更する必要がないため、簡単に使い始めることができます。 

Amazon DynamoDB と Amazon Redshift のゼロ ETL 統合

Amazon DynamoDB ゼロ ETL 統合と Amazon Redshift により、DynamoDB から Amazon Redshift へのレプリケーションを含む、コーディング不要のフルマネージド型 ETL パイプラインが提供されます。このゼロ ETL 統合により、お客様はデータを DynamoDB から Amazon Redshift にシームレスに同期できるため、抽出、変換、ロード (ETL) 操作のための複雑なデータパイプラインを構築および維持するためのカスタムコードを作成する必要がなくなります。この統合により、トランザクションデータベースとデータウェアハウス間でデータの同期を維持するために必要な運用上の負担とコストが軽減され、お客様は中核となるビジネス上の課題に集中できるようになります。

Amazon DynamoDB を利用すべき理由

Amazon DynamoDB を使用すると、ワークロードを簡単に Amazon DynamoDB Accelerator (DAX) と統合して最大 10 倍のパフォーマンスの改善を実現したり、Amazon OpenSearch Service 統合してリアルタイムの検索および分析機能を実現したりできるほか、他のさまざまな AWS サービスと統合することもできます。DynamoDB には、お客様のユースケース要件を満たす幅広い AWS サービスと統合できる柔軟性があります。

ページトピック

全般
8

全般

DynamoDB と OpenSearch Service のゼロ ETL 統合により、トランザクションデータストアから検索データストアへのデータのレプリケーションをオーケストレートする際の運用面の複雑さが軽減されます。トランザクションデータストアと検索データストアの同期を維持するために使用されるデータパイプラインにより、構築と管理が困難でコストがかかり、追跡が困難な断続的なエラーが発生する可能性があります。 

この統合により、Amazon DynamoDB のお客様は、DynamoDB のトランザクションデータが書き込まれてから数秒以内に OpenSearch Service で利用できるようにするフルマネージドソリューションを提供することで、トランザクションデータからほぼリアルタイムの検索結果を取得できるようになります。お客様は、OpenSearch Service で分析したいデータを含む DynamoDB テーブルを選択するだけで、このゼロ ETL 統合により、OpenSearch Ingestistion パイプラインを使用してスキーマとデータを OpenSearch Service にシームレスにレプリケートできます。お客様は、複数の DynamoDB テーブルのデータを単一の OpenSearch Service マネージドドメインまたはサーバーレスコレクションにレプリケートして、複数のアプリケーションにわたって総合的なインサイトを得ることができます。また、中核となる分析資産を統合することで、大幅なコスト削減と運用効率の向上を実現できます。 

お客様は、DynamoDB 用 AWS マネジメントコンソール、OpenSearch Service、AWS CLI、AWS SDK、または AWS CloudFormation を使用して開始できます。統合を有効にするには、まずデータをレプリケートする必要がある DynamoDB テーブルを選択します。次に、お客様は、2 つのシステム間のデータを同期させる CDC メカニズムとして、ほぼリアルタイムのレプリケーション用の DynamoDB ストリームまたは遅延レプリケーション用の DynamoDB 増分エクスポートのいずれかを選択します。 

この ゼロ ETL 統合により、お客様のアカウントに OpenSearch Ingeston パイプラインが設定され、OpenSearch Service が管理するクラスターまたはサーバーレスコレクションへのデータのレプリケートが行われます。OpenSearch Ingestion は DynamoDB テーブルの構造を分析し、同等の OpenSearch Service マネージドドメインまたはサーバーレスコレクションを作成し、DynamoDB テーブルの既存のデータを使用して送信先のブートストラップを行います。オプションで、お客様は OpenSearch Service で作成されるインデックスのスキーマを指定することができます。 

このゼロ ETL 統合では、Amazon CloudWatch のリアルタイムメトリックスとログを使用して、エンドツーエンドの統合の状態をモニタリングできるダッシュボードが提供されます。ユーザー定義のしきい値を超えた場合のアラートを設定できます。また、このインテグレーションは DynamoDB テーブルと OpenSearch Service のインデックスの状態を継続的にモニタリングし、これらのエンティティのいずれかでリグレッションが発生した場合は直ちにユーザーに通知します。

OpenSearch Ingeston がこれら両方のシステム間でデータをレプリケートするために必要なアクセス許可を持っていることを確認するために、DynamoDB と OpenSearch Service のゼロ ETL 統合により、DynamoDB テーブルからデータを読み取り、OpenSearch ドメインまたはコレクションに書き込むために必要なアクセス許可を持つ IAM ロールが作成されます。その後、OpenSearch Ingestistion パイプラインがこの役割を引き受け、データをソースからターゲットに移動する際に常に適切なセキュリティ体制が維持されるようにします。

このゼロ ETL 統合では、OpenSearch Ingest パイプラインのネイティブデータ変換機能を使用して、移動中のデータを集約してフィルタリングします。DynamoDB テーブルからデータを移動する場合、お客様はいくつかのフィールドを削除するか、既存のフィールド全体の集計に基づいて新しいフィールドを作成したい場合があります。 

オプションとして、お客様が OpenSearch Ingeston 用のカスタムロジックを記述して、特注のトランスフォーメーション機能を実現することもできます。データ全体をソースからシンクに移動したいだけの他のユーザーには、このゼロ ETL 統合により、すぐに使える OpenSearch Ingesttion ブループリントが提供され、ボタンを数回クリックするだけで統合を実行できるようになります。

このゼロ ETL 統合により、お客様はカスタムデータスキーマを指定するオプションと、OpenSearch Ingesttion が DynamoDB から OpenSearch Service にデータを書き込む際に使用されるインデックスマッピングを指定できます。このエクスペリエンスは DynamoDB 内の UI コンソールに追加されるため、お客様は OpenSearch Service で作成されるインデックスの形式を完全に制御できます。

DynamoDB と OpenSearch Service のゼロ ETL 統合を使用しても、基盤となる既存のコンポーネントのコストを除けば、追加コストは発生しません。このゼロ ETL 統合では、Amazon OpenSearch Ingeston を使用して DynamoDB テーブルのデータを読み取り、OpenSearch Service にレプリケートします。DynamoDB と OpenSearch Service のゼロ ETL 統合を使用する場合にかかるコストは、OpenSearch Ingestion がシステム間でデータを複製するために必要な OpenSearch コンピュートユニット (OCU) のコストです。さらに、お客様は CDC の選択肢として DynamoDB ストリームまたは増分エクスポートのいずれかを選択できます。増分エクスポートでは、S3 バケットへのデータの書き込みに関連するコストがかかります。DynamoDB ストリームの場合、お客様には DynamoDB ストリームを使用する際の標準料金がかかります。

Amazon OpenSearch Service との DynamoDB ゼロ ETL 統合は、現在 OpenSearch Ingestion が利用可能なすべてのリージョンで利用できます。