Autodesk、AWS を活用してビッグデータ処理コストを 90% 削減

Autodesk は、建築、エンジニアリング、製造、メディア、エンターテイメント業界向けの 3D 設計における大手ソフトウェアプロバイダーです。世界中で 1 億人以上の人々が、コンピュータ支援設計やビルディングインフォメーションモデリングソフトウェアを含む Autodesk 製品を使用しています。

拡大するユーザーベースに対応するため、Autodesk は Amazon Web Services (AWS) と協力して、製品の使用状況に関する詳細な洞察と分析を生成するデータウェアハウスである Autodesk Data Platform (ADP) を刷新する取り組みに着手しました。Autodesk は、ADP によって導き出された指標 (アクティブユーザー、ユーザー導入状況、製品バージョンなど) を利用して、製品のパフォーマンスを向上させ、顧客により良いサービスを提供するための新しい機会を特定しています。

2019 年 8 月、ADP は 1 時間あたり約 150 GB のデータを受信していました。これは、処理できる量を 50 GB 超過していました。Autodesk は、2 つの主な要因から、データ量の急増を予想していました。Autodesk ではソフトウェアのサブスクライバーを増やしていたことと、デスクトップ製品を新規リリースするたびに、生成される製品使用データが増えていたことです。

「ADP には膨大な量のデータが入ってくるだろうと予測していたので、改善が必要でした。既存のシステムを拡張して、プラットフォームが受信した最大データ量である 150 GB の最大 10 倍の受信データ急増を処理する必要がありました。また、データ処理の速度と可用性を 1 時間まで向上させ、処理コストを 70% 削減することも目標でした」と、Autodesk のアジア太平洋地域担当 Senior Data Engineering Manager、Deanne Marie Lim 氏は言います。

トランスフォーメーションプロジェクトの前は、Autodesk はデータプラットフォームを AWS の Spark ベースのシステムで運用していました。Autodesk チームは、Amazon Elastic Compute Cloud (Amazon EC2) を使用して未加工データのクレンジングと処理を時間ごとにスケジュールし、製品の使用状況を時間単位で観察しました。ただし、水平スケーリングでは容量が限られているため、特定の 1 時間にデータ量が 100 GB を超えると、プラットフォームに障害が発生することがよくありました。その結果、チームは手動でジョブを再実行しなければならず、追加コストを発生させると同時に、チームの効率を低下させることになりました。

さらに、最大 4 時間かけて未加工データをクリーニングした後、Autodesk では抽出、変換、ロード (ETL) を実行してこのデータをダッシュボードに表示する必要がありました。このクレンジングとエンリッチメントのプロセスによって、他のすべての ETL やダッシュボードを支える最上流のデータセットが生成されるため、何らかの障害や遅延が発生すると、製品の改善やその他の事業開発の機会をタイムリーに特定する能力が損なわれます。

「AWS パートナーネットワーク (APN) の一員として、サーバーレスソリューションを活用してデータプラットフォームを改善する方法について直接知ることができました。AWS は、現在の課題に対処するために必要な貴重なツールとテクノロジーを提供してくれました。特に、AWS Lambda と Amazon DynamoDB は、既存のデータクレンジングとエンリッチメントのプロセスで発生していた問題を解決するのに役立ちました。持続可能でスケーラブルで費用対効果の高いソリューションを 1 年以内に開発しました」と Lim 氏は付け加えます。

AWS は、ADP をバッチ処理モデルから AWS Lambda で実行されるイベントベースのモデルに移行するのを支援しました。これにより、Autodesk は、データが到着するとすぐに処理できます。予定された時間に行うことで分析が遅れていたのとは対照的です。AWS Lambda によって ETL 集約が自動化され、データが 1 時間単位のサイクルに比べ、ほぼリアルタイムで処理されるようになりました。

高スループット、低レイテンシー、ほぼリアルタイムの処理を実現するために、Autodesk は Amazon DynamoDB を組み込みました。Amazon DynamoDB を使用すると、ADP は何千もの同時リクエストを数ミリ秒以内に処理できます。さらに、Amazon Simple Storage Service (Amazon S3) を使用して安全なデータレイクを構築し、高いデータ可用性を実現しました。

ADP は、12 TB のデータに相当する 60 億件を超えるデータイベントを毎日自動的に処理できるようになり、受信したデータが利用可能となるまでの時間が以前の 4 時間から 2 分以内に短縮されました。

Lim 氏は次のように締めくくっています。「AWS のおかげで、目標を上回ることができました。コストを最大 90% 削減し、ほぼリアルタイムのデータ処理によりビジネスユーザー向けの分析を強化しました。これで、ユーザーエクスペリエンスをより有意義に改善できるようになりました。例えば、過去のユーザーアクティビティについて収集されたリアルタイムのデータを追跡することで、エンドユーザーにソフトウェアの使い方を改善する方法について推奨事項を提供できます。AWS のおかげで、お客様に貴重な洞察を提供できるようになりました」。

この実装が成功したことで、Autodesk は引き続き AWS と協力して、他の製品使用データセットにもイベントベースのモデリングを適用するようになりました。将来を見据えて、Autodesk は予測分析をサポートするためにデータプラットフォームを進化させることを計画しています。これにより、同社は一般的な使用パターンを分析し、ユーザージャーニーを改善するための推奨事項をリアルタイムで提供することで、ユーザーエクスペリエンスを向上させることができます。