Finch Computing は、言語の翻訳やエンティティの曖昧性解消などの NLP タスクを実行する ML モデルを構築するために AWS Inferentia と PyTorch を AWS で使用しています。これにより、GPU と比較して、推論コストが 80% 超削減されました。

Amazon Robotics は Amazon SageMaker を使用して、Amazon フルフィルメントセンターでの手動スキャンに代わる高度な機械学習モデルを開発しました。Amazon Robotics が Amazon SageMaker と AWS Inferentia を使用して推論コストをほぼ 50% 削減

マネーフォワードは、Amazon EC2 Inf1 インスタンスで大規模な AI チャットボットサービスを開始し、同等の GPU ベースのインスタンスと比較して推論レイテンシーを 97% 低減するとともに、コストを削減しました。同社は Inf1 インスタンスへの移行が成功したことを受けて、エンドツーエンドの ML のパフォーマンスを向上させ、コストを削減することを目的として、AWS Trainium ベースの EC2 Trn1 インスタンスの評価も行っています。

Rad AI は、AI を使用して放射線医療のワークフローを自動化し、放射線医療に関するレポートの合理化を支援します。新しい Amazon EC2 P4d インスタンスを使用すると、Rad AI はより速く推論し、モデルを 2.4 倍の早さでより高精度にトレーニングできるようになります。

「Amazon Web Services を活用した Amazon Alexa の AI と ML ベースのインテリジェンスは、現在 1 億台を超えるデバイスで利用できます。当社は、Alexa をよりスマートかつ能動的にするとともに、さらに多くの対話を可能にし、これまでよりも多くの喜びをもたらすものとなるようにするための努力を惜しまないことをお約束します。これを実現するには、応答時間と機械学習インフラストラクチャのコストを継続的に改善する必要があります。そのため、当社は、Amazon EC2 Inf1 を使用して、Alexa のテキスト読み上げ推論のレイテンシーや推論あたりのコストを削減できることに高揚感を覚えています。Amazon EC2 Inf1 を使用すれば、Alexa を毎月使用する何千万人ものお客様へのサービスをさらに改善することができます」

Amazon Alexa、Senior Vice President、Tom Taylor

「Autodesk は、Inferentia を使用して、AI を活用した仮想アシスタントである Autodesk Virtual Agent (AVA) の認知テクノロジーを進歩させています。AVA は、自然言語理解 (NLU) と深層学習の手法を適用して、問い合わせの背後にあるコンテキスト、意図、および意味を抽出することにより、顧客から毎月寄せられる 100,000 件超の質問に回答しています。Inferentia のパイロット運用では、NLU モデルで G4dn よりも 4.9 倍高いスループットを得ることができました。Inferentia ベースの Inf1 インスタンスで多くのワークロードを実行できることを楽しみにしています」

Autodesk、Sr Data Scientist、Binghui Ouyang 氏

「Sprinklr は、マーケティング、広告、調査、カスタマーケア、販売、ソーシャルメディアエンゲージメントのためのさまざまなアプリケーションを組み合わせた統合型カスタマーエクスペリエンス管理 (Unified-CXM) プラットフォームを提供します。目標は常にレイテンシーを低減することにあります。これは、より優れたカスタマーエクスペリエンスを意味します。Amazon EC2 Inf1 インスタンスを利用することで、当社はこれを実現できるのです」

Sprinklr、Infrastructure and DevOps 部門 Vice President、Jamal Mazhar 氏