AWS ベースのデータレイクを使用してデータの力を引き出す BMW Group

ただし、社内外の利害関係者の高まる需要をサポートするために、同社はデータレイクをより簡単にスケールする必要がありました。データは無数のサイロ化された環境に散らばっていて簡単にアクセスできるものではなかったため、新しいイニシアチブをサポートするには独自の IT インフラストラクチャと長いリードタイムが必要であり、そのために BMW Group のイノベーションは鈍化していました。BMW Group は、さまざまな社内ビジネスユニットすべてのデータニーズをサポートし、顧客が要求する一連の新しいユースケースに迅速に対応できるようにするために十分に俊敏なソリューションを開発する必要がありました。

BMW Group はまた、速度、位置、温度、バッテリーとブレーキのレベル、エンジンの状態の情報など、データの消費者が車両のテレメトリにリアルタイムでアクセスできるようにすることも目指しました。さらに、データレイクに分析と機械学習を統合して、新しい革新的なサービスの開発を加速させようともしました。そして、大前提として、ソリューションはプライバシーとセキュリティの規制に確実に準拠するために必要なガバナンスを提供できなければなりませんでした。

BMW Group は、このような課題に対応して、オンプレミスのデータレイクを再構築し、Amazon Web Services (AWS) クラウドに移動することにしました。同社の Cloud Data Hub (CDH) は、企業全体の車両センサーやその他のソースからの匿名化されたデータを処理および結合して、顧客向けアプリケーションおよび社内用アプリケーションを作成する社内チームが簡単にアクセスできるようにします。最終的に、AWS が同社にとって必要な俊敏性と柔軟性をもたらし、世界中のユーザーをサポートするために必要なフットプリントを提供してくれることを発見しました。

移行前は、BMW Group の厳格なオンプレミスデータレイクは、データエンジニアやアナリストの増え続けるニーズを満たすことができませんでした。相互に依存するワークフローを実行すると、古いデータレイクは複数のテナントを適切に処理できませんでした。その結果、BMW Group のプラットフォーム、取り込み、およびユースケースのチームは、プロジェクトに取り組むために複雑な調整を必要とし、組織のボトルネックを招き、ペースを落としました。

BMW Group は、Amazon Athena、Amazon Simple Storage Service (Amazon S3)、Amazon Kinesis Data Firehose、AWS Glue などの AWS マネージドサービスの組み合わせに目を向け、コンポーネントを差別化することでセットアップの複雑さを軽減し、 データエンジニアのニーズを満たしています。さらに、チームはエンドツーエンドで独自の DevOps プロセスを持つことができるようになり、革新を続けるために必要な自律性と俊敏性がチームにもたらされます。 さらに、BMW Group は、CDH のユーザーが高度な検索アルゴリズムを使用して信頼できるデータセットを発見し、データを簡単にクエリして新しいインサイトを生み出せるようにする最新のウェブポータルを実装しました。

BMW Group は、AWS のサービスを使用して、毎日膨大なデータを取り込んでいます。現在では、BMW と MINI の何百万台もの車両が、BMW Group の高度に安全が保たれたバックエンドを経由して CDH に接続されており、毎日匿名のテレメトリデータがテラバイト単位で処理されています。同社はこのデータを使用して、チェック制御エラーなど車両のヘルスインジケーターをモニタリングし、車両ライン全体の潜在的な問題を識別しています。これにより、BMW Group は、CDH から取得、収集、および改良されたフリートデータを活用して、問題が顧客に影響を与える前であっても、問題をより適切に解決できるようになります。

このデータをより適切に管理するために、BMW Group は「データプロバイダー」と「データコンシューマー」の概念を導入して、ソフトウェアエンジニアリングチームの自律性と俊敏性の両方を向上させました。データプロバイダーは、Amazon Kinesis Data Firehose、AWS Lambda、AWS Glue、Amazon EMR などの AWS のサービスを利用してデータを取り込み変換します。データコンシューマーはその後、Amazon Athena、Amazon SageMaker、AWS Glue、Amazon EMR などのサービスを使用して、各チームのユースケースにデータを活用します。プロバイダーとコンシューマーのどちらも、サービスの使用は独自のアカウントで行い、共有しているのは、中央 API で制御できる、明確に定義されたインターフェイスのみです。これにより、ボトルネックを回避できます。個々のデータレイヤーは Amazon S3 バケットに保存され、それらのスキーマは AWS Glue データカタログに登録されます。

BMW Group は、AWS Glue データカタログに技術メタデータを収集するだけでなく、組織全体でデータを民主化するために、人間が読める形式のデータカタログを構築することが不可欠であることを発見しました。こうすることで、CDH にどんなデータアセットがどのように集められているかについて、透明性が非常に高くなります。フロントエンドアプリケーションのデータポータルは、データリソースを明確に表示し、組織全体の 500 人を超えるユーザーのデータ使用パターンに基づく「人気指数」を提供することで、データアナリスト、データサイエンティスト、エンジニアの生産性を高めるデータエクスプローラーとして機能します。

また、CDH は、AWS AppSync を介して GraphQL を活用して、データプロバイダーとコンシューマーの両方にスケーラブルでユニバーサルな API を構築し、開発の柔軟性を高めています。GraphQL 上に構築されたインターフェイスは、従来の REST API とは異なり、データカタログのメタデータの表示や、接続された車両から収集された異種データの提供など、革新的な要望に対応するのに適しています。デベロッパーは、ペイロード構造を定義し、パラメータをクエリして特定のユースケースに必要なデータを取得する柔軟性を得られます。これにより、異なるデータ要件のセットを使用してプロジェクトごとに新しい API のセットを作成する必要がなくなるため、以前よりも大幅に高速にアプリケーションを構築できます。

一元管理される AWS ベースのデータレイクは、BMW Group がデータ駆動型 IT ソリューションを開発するための基礎を形成しており、サーバーレスアーキテクチャ上で自動的かつ個別にスケールできます。したがって、新しいイニシアチブごとにインフラストラクチャ管理とキャパシティプランニングが必要だった以前のオンプレミスソリューションよりも迅速にイノベーションを実現できます。

BMW Group は、API、アーキテクチャ、データポータルなど、CDH を取り巻く主要なコンポーネントをオープンソース化しています。これは、BMW Group がソブリンデータスペースを確立するための欧州のイニシアチブである Gaia-X の初期メンバーであるという事実によりさらに強化されます。 

今後も BMW Group は、CDH プラットフォームの機能をスケールアウトして、デジタルトランスフォーメーションをさらに加速し、ビジネス全体に付加価値をもたらし、革新的なカスタマーエクスペリエンス、新しいモビリティサービス、および社内のビジネスインサイトを強化していきます。Demtröder 氏は最後に、「AWS とともに歩む私たちの行程は始まったばかりです。未来に向かってイノベーションを促進するという戦略を私たちのビジネスが遂行するための力となるのが楽しみです」と述べました。

詳細については、aws.amazon.com/automotive をご覧ください。