Bazaarvoice が Amazon SageMaker Serverless Inference を使用して機械学習推論コストを 82% 削減

Bazaarvoice は、テキサス州オースティンに本社を置き、世界中にオフィスを構えています。同社では、ML を利用して大規模な小売業者やブランド企業のコンテンツモデレーションを自動化し、レビュー、ソーシャルコンテンツ、写真、動画の収集、シンジケート、モデレーションを行っています。顧客は、これらを利用して、商品ページを強化し、売り上げを伸ばすことができます。同社ではさらに、ML を使用してこのコンテンツにセマンティック情報を追加することで、顧客のコンテンツ分類とインサイト収集をサポートしています。

Bazaarvoice では、スケーラビリティ、スピード、効率性の改善が求められる一方で、処理速度の遅い旧式の ML ソリューションが生み出す課題を抱えていました。例えば、新規顧客のオンボードや、新しいモデルのトレーニングのたびに、複数のモデルファイルを手動で編集してアップロードし、変更登録の完了を待つ必要があります。このプロセスは約 20 分かかるうえ、エラーも発生しやすいものでした。しかも、このアーキテクチャの設計では、自社の規模拡大に効率的に対応することが想定されていませんでした。1,600 近くのモデルを支えるマシンには、1 台につき 1 TB の RAM が必要でした。「コストが非常にかかるうえ、モノリシックなアーキテクチャとして構築したため自動スケールが不可能です。自動的にスケールできることは、重要な目標の 1 つでした」。同社の Principal Research Engineer、Lou Kratz 氏はそのように話しています。自社の顧客数増加に対応し、ML モデルを実験するには、俊敏性も不可欠でした。「メモリ制限に妨げられずに、実稼動モデルの数を 10 倍に増やす必要がありました」と同氏は振り返ります。

Bazaarvoice は、独自のサーバーレスホスティングソリューションの構築も検討しましたが、そうしたプロジェクトには費用も労力もかかるため、Amazon SageMaker Serverless Inference を導入しました。このソリューションなら、専用の推論オプションを利用して、ML モデルのデプロイとスケールを簡素化できます。これにより、チームの運用上の負担が軽減されました。同社で Senior Machine Learning Engineer を務める Edgar Trujillo 氏は、こう話します。「このプロジェクトから、モデルのデプロイの統合を開始しました」。同社では、2021 年 12 月に新システムへのトラフィック送信を開始し、2022 年 2 月には、すべての運用トラフィックをこのシステムで処理できるようになりました。

Serverless Inference を導入した Bazaarvoice では、モデルのデプロイだけでなく、トラフィック量が増えた際にモデルを専用のエンドポイントに移動することも簡素化され、その結果、スループット向上とコスト削減が実現しました。12,000 顧客のモデルを Serverless Inference にすべて移行することで、ML 推論コストを 82 パーセント節約できたのです。同社では、毎月数百万ものコンテンツを分析して充実を図っているため、SageMaker の推論には、毎月数千万件、つまり 1 秒あたり約 30 件の呼び出しが実行されています。しかし、その ML モデルのほとんどが顧客から数分に 1 回しか呼び出されないため、それらに専用のリソースを割り当てるのは無意味です。「大規模で高価なモデルでは専有ホストを、あまり使用されないモデルでは低コストのオプションを利用できる柔軟さが必要でした」と、Kratz 氏は述べています。Serverless Inference を使用することで、同社では、需要に合わせたシームレスなスケールアップとスケールダウン、さらなる効率化、コスト削減が可能になります。Kratz 氏は、こう続けます。「大きな成果を得られました。サーバーを管理したり、処理を行っていない時間帯の料金を支払ったりする必要がなくなったのです。しかも、取り込まれるすべてのコンテンツを常に把握できるので、顧客側からも、それらが直ちにモデレーションされ、強化されていることがわかります」。

コンテンツ配信を迅速化すると、顧客のコンテンツが新しいエンドユーザーにこれまでよりもはるかに早く表示されるようになります。SageMaker を使用すれば、配信をわずか 5 分で完了できます。Kratz 氏は言います。「既存のモデルに顧客の新しいデータを送信する場合、15～20 分かかっていましたが、今ではあっという間です」。 以前は 20～30 分かかっていた新しいモデルのデプロイも、わずか 5 分で完了します。また、AWS の利用により、モデル配信のスループットが向上しました。モデルの構築、リリース、Serverless Inference での実行によるパフォーマンス評価が完了した後に、モデルにコンテンツを送信できるため、ライブコンテンツを使用するリスクが軽減されます。しかも、コンテンツの送信時に再デプロイする必要はありません。モデルは既に SageMaker で稼動しているからです。それどころか、検証の完了後すぐに新しいモデルをデプロイできます。Bazaarvoice の Technical Fellow、Dave Anderson 氏はこう話しています。「Amazon SageMaker を使用することで、新しいモデルの実験と、本番環境へのデプロイを、はるかに迅速かつ低コストで行えるようになりました。バリュープロポジションを柔軟に推進できるというすばらしい成果も得られたのです」。 同社は、自社のデータサイエンティストには迅速な対応が可能な環境を、顧客にはこれまで以上に高い価値を提供しています。

Bazaarvoice では、コンテンツを ML モデルの 1 つにフィードして、信頼値を出力させ、それを使用してコンテンツを決定しています。以前のアーキテクチャで意思決定ロジックを変更するには、常に、新しいモデルをリリースする必要がありました。そこで同社は、Amazon Elastic Container Service (Amazon ECS) を導入しました。これにより、フルマネージドのコンテナオーケストレーションサービスを利用して、コンテナ化したアプリケーションを簡単にデプロイ、管理、スケールし、ML モデルとは別の意思決定ロジックを処理できます。Kratz 氏は、こう話しています。「意思決定ロジックの分離には大きな効果がありました。コンテンツ運用チームが、ほぼ瞬時に結果を取得して意思決定を行えるようになったからです。新しいモデルをリリースした後に、そのデプロイや更新の完了を待つ必要はありません」。

Bazaarvoice は、大幅なコスト削減と同時に、チームでの ML 開発プロセスの改善と、顧客に提供するサービスの強化を実現しました。また、顧客がこれまで以上に多くのメリットを得られるよう、SageMaker Serverless Inference API を利用して、さらに迅速なアクセスを実現する予定です。「この業界では ML の利用が当たり前になりつつあります。利用しなければ競争には勝てません」。Kratz 氏は、そう話しています。「SageMaker Serverless Inference を使用することで、大規模かつ効率的な ML が可能になり、妥当なコストと低い運用オーバーヘッドで多くのモデルを迅速に作成できます」。