このガイダンスでは、イベントドリブンのサーバーレスでスケーラブルなアーキテクチャを使用して、AWS で自動的に設定されるデータレイクについて説明します。AWS マネージドサービスを活用してデータの取り込み、保存、処理、分析を行い、適切なデータガバナンスを備えた安全で柔軟で費用対効果の高い設計を実現します。このアプローチにより、従来のデータ管理システムと比較して、俊敏性、柔軟性、信頼性が向上します。ソリューション全体は、コードとしてのインフラストラクチャ (IaC) と継続的インテグレーション、継続的デリバリー (CI/CD) パイプラインを使用してコード化されたアプリケーションとして構築されています。

注: [免責事項]

アーキテクチャ図

[アーキテクチャ図の説明]

アーキテクチャダイアグラムの PDF をダウンロード 

今すぐ始める

このガイダンスをデプロイ

Well-Architected の柱

AWS Well-Architected フレームワークは、クラウドでシステムを構築する際に行う決定の長所と短所を理解するのに役立ちます。フレームワークの 6 つの柱により、信頼性が高く、安全かつ効率的で、費用対効果が高く、持続可能なシステムを設計および運用するためのアーキテクチャのベストプラクティスを学ぶことができます。AWS マネジメントコンソールで無料で提供されている AWS Well-Architected Tool を使用し、各柱の一連の質問に回答することで、これらのベストプラクティスに照らしてワークロードを確認できます。

上記のアーキテクチャ図は、Well-Architected のベストプラクティスを念頭に置いて作成されたソリューションの例です。完全に Well-Architected であるためには、可能な限り多くの Well-Architected ベストプラクティスに従う必要があります。

  • Amazon CloudWatch は、すべてのアーキテクチャコンポーネントからの操作ログを通じて、パフォーマンスと状態に関する包括的な洞察を提供します。Amazon S3 サーバーアクセスログを使用すると、データレイクに対して行われたリクエストの詳細な記録を追跡できます。これにより、セキュリティとアクセスの監査を実施できるだけでなく、Amazon S3 の請求内容を理解できるようになります。DynamoDB はデータレイクパイプラインジョブのステータスを綿密に追跡し、発生する可能性のあるエラーを迅速に特定して解決できるようにします。

    運用上の優秀性に関するホワイトペーパーを読む 

  • AWS Key Management Service (AWS KMS) は、保管中のすべてのデータを顧客管理のキーを使用して暗号化することにより、データレイクを保護します。強固な TLS 1.2 暗号化で転送中のデータを保護します。 AWS Identity and Access Management (IAM) を使用すると、最小特権の原則に従って、AWS のサービスとリソースへの ID とアクセスを正確に管理できます。

    セキュリティに関するホワイトペーパーを読む 

  • Amazon S3 は、耐久性と可用性に優れたストレージレイヤーの役割を果たします。データパイプラインは EventBridge を介してトリガーされ、Amazon SQS にメッセージを送信してパイプラインジョブを開始します。エラーは、メッセージをデッドレターキューに移動してデバッグと再処理を行うことで処理されます。ガイダンスは、リージョンで障害が発生した場合に別の AWS リージョンまたはアカウントに再デプロイできるため、柔軟性と回復力が確保されます。

    信頼性に関するホワイトペーパーを読む 

  • このソリューションは、軽量タスクには Lambda を使用し、大量のデータ変換には AWS Glue を使用することでパフォーマンスを最適化します。サーバーレスのデータ統合サービスである AWS Glue は、コストを削減しながらデータ準備を簡素化および迅速化します。Apache Spark を活用して変換ジョブをスケーラブルに実行します。Step Functions は AWS Glue ジョブをオーケストレーションし、分散処理機能を提供してデータパイプラインのパフォーマンスを向上させます。

    パフォーマンス効率に関するホワイトペーパーを読む 

  • このガイダンスでは、サーバーレスの AWS サービスを使用して総所有コストを削減し、需要に応じたスケーラビリティを実現しています。Amazon S3 はストレージレイヤーとして機能し、さまざまなデータアクセスパターンに対応する自動ライフサイクル管理機能を備えた、コスト効率の高いさまざまなストレージクラスを提供します。インフラストラクチャ管理を AWS に移行することで、サーバーレスアプローチにより開発者はコードに集中できるようになり、さらにコストを削減し、効率を向上させることができます。

    コスト最適化に関するホワイトペーパーを読む 

  • このガイダンスのサーバーレスサービスは需要に応じて拡張され、エネルギー効率を最大化し、コンピューティングリソースを最小限に抑えます。Amazon S3 はデータライフサイクルポリシーを実装し、取り込まれたデータを Parquet 形式で保存します。この圧縮形式により、クエリごとのデータスキャンが減り、ワークロードに必要なコンピューティングリソースがさらに減少します。サーバーレスアーキテクチャと効率的なデータストレージの組み合わせにより、全体的なパフォーマンスとリソース使用率が最適化されます。

    持続可能性に関するホワイトペーパーを読む 

関連コンテンツ

[コンテンツタイプ]

[タイトル]

この [ブログ投稿/電子書籍/ガイダンス/サンプルコード] は、[簡単な説明を挿入] 方法を示しています。

免責事項

サンプルコード、ソフトウェアライブラリ、コマンドラインツール、概念の実証、テンプレート、またはその他の関連技術 (私たちの担当者から提供される前述のものを含む) は、AWS カスタマーアグリーメント、またはお客様と AWS との間の関連文書契約 (いずれか該当する方) に基づき、AWS コンテンツとしてお客様に提供されるものです。お客様は、この AWS コンテンツを、お客様の本番アカウント、または本番データもしくはその他の重要なデータで使用すべきではありません。お客様は、サンプルコードなどの AWS コンテンツを、お客様固有の品質管理手法および基準に基づいて、本番グレードでの使用に適したテスト、セキュリティ確保、および最適化を行う責任を負います。AWS コンテンツのデプロイには、Amazon EC2 インスタンスの実行や Amazon S3 ストレージの使用など、AWS の課金対象リソースを作成または使用するための AWS 料金が発生する場合があります。

本ガイダンスにおける第三者のサービスまたは組織への言及は、Amazon または AWS と第三者との間の承認、後援、または提携を意味するものではありません。AWS からのガイダンスは技術的な出発点であり、アーキテクチャをデプロイするときにサードパーティのサービスとの統合をカスタマイズできます。

このページはお役に立ちましたか?

 フィードバック