概要料金よくある質問お客様

Amazon SageMaker と MLFlow を組み合わせた機械学習実験

MLflow を使用して、機械学習モデルと生成 AI アプリケーション実験を大規模に効率的に管理

Amazon SageMaker と MLFlow を併用する理由

Amazon SageMaker には、機械学習 (ML) と生成 AI を実験するためのマネージド MLflow 機能が用意されています。この機能により、データサイエンティストは SageMaker の MLflow をモデルのトレーニング、登録、およびデプロイに簡単に利用できます。管理者は、安全でスケーラブルな MLflow 環境を AWS にすばやくセットアップできます。データサイエンティストと機械学習デベロッパーは、機械学習の実験を効率的に追跡し、ビジネス上の問題に適したモデルを見つけることができます。

Amazon SageMaker と MLflow を併用するメリット

基盤モデル (FM) を効率的に試用する

データサイエンティストは、MLflow を使用して、基盤モデルの微調整中に生成されたすべてのメトリクスを追跡し、モデルを評価し、サンプルデータでモデルをテストし、MLflow UI で各モデルの出力を並べて比較し、それぞれのユースケースに適したモデルを登録できます。モデルを登録すると、ML エンジニアはそのモデルを SageMaker 推論にデプロイできます。

インフラストラクチャのメンテナンスなし

MLflow のホストに必要なインフラストラクチャを管理する必要はありません。データサイエンティストは、管理者がインフラストラクチャのオーバーヘッドを気にすることなく、MLflow のオープンソース機能をすべて使用できます。これにより、データサイエンス環境を設定する際の時間とコストを節約できます。MLflow は Amazon Identity and Access Management (IAM) と統合されているため、MLflow 追跡サーバー用のロールベースのアクセスコントロール (RBAC) を設定できます。

モデル実験から本番環境へのシームレスな移行

MLflow に登録されたモデルは、関連する Amazon SageMaker Model Card を使って Amazon SageMaker Model Registry に自動的に登録されます。これにより、データサイエンティストは、コンテキストを切り替えることなく、モデルを ML エンジニアに移して本番環境にデプロイできます。ML エンジニアは、カスタムコンテナを構築したり MLflow モデルアーティファクトを再パッケージ化したりすることなく、MLflow から SageMaker エンドポイントにモデルをデプロイできます。

オープンソースコミュニティでイノベーションを起こす

MLflow プロジェクトが発展するにつれて、SageMaker のお客様は、AWS が提供するインフラストラクチャ管理を享受しながら、MLFlow コミュニティによるオープンソースのイノベーションの恩恵を受けることができます。

どこからでも実験を追跡する

ML テストは、Amazon SageMaker Studio のローカルノートブック、IDE、クラウドベースのトレーニングコード、マネージド IDE など、さまざまな環境で実行されます。SageMaker と MLflow を使用すると、希望の環境を使用してモデルをトレーニングしたり、MLflow で実験を追跡したり、MLFlow UI を直接または SageMaker Studio を通じて起動して分析したりできます。

モデル実験でのコラボレーション

データサイエンスプロジェクトを成功させるには、チームのコラボレーションを効果的に行うことが不可欠です。 SageMaker Studio では MLflow 追跡サーバーと実験を管理およびアクセスできるため、チームメンバーが情報を共有して一貫した実験結果が得られ、コラボレーションが容易になります。

実験を評価する

複数のイテレーションから最適なモデルを特定するには、モデルのパフォーマンスを分析および比較する必要があります。MLflow には、散布図、棒グラフ、ヒストグラムなどの視覚化機能があり、トレーニングのイテレーションを比較できます。さらに、MLflow ではモデルの偏りや公平性を評価できます。

MLflow モデルを一元管理

多くの場合、複数のチームが MLflow を使用して実験を管理しますが、本番環境の候補となるのは一部のモデルだけです。組織は、すべての候補モデルを簡単に追跡し、どのモデルを本番環境に進ませるかについて情報に基づいた決定を下すための方法を必要としています。MLflow は SageMaker Model Registry とシームレスに統合されるため、組織は MLFlow に登録されているモデルが SageMaker Model Registry に自動的に表示され、ガバナンス用の SageMaker Model Card で補完されていることを確認できます。この統合により、データサイエンティストと ML エンジニアは、実験のための MLflow と、包括的なモデルリネージにより本番ライフサイクルを管理するための SageMaker Model Registry という個別のツールをそれぞれのタスクに使用できるようになります。

MLflow モデルを SageMaker エンドポイントにデプロイする

MLflow から SageMaker エンドポイントへのモデルのデプロイはシームレスに行えるため、モデルストレージ用のカスタムコンテナを構築する必要がありません。この統合により、お客様は SageMaker の最適化された推論コンテナを活用しながら、モデルのログ記録と登録に MLflow のユーザーフレンドリーなエクスペリエンスを維持できます。