Sprinklr が AWS Inferentia で機械学習推論コストを削減

Sprinklr は、マーケティング、広告、調査、カスタマーケア、販売、ソーシャルメディアエンゲージメントのためのさまざまなアプリケーションを組み合わせた統合カスタマーエクスペリエンス管理 (Unified-CXM) プラットフォームを提供します。クラウドファーストの企業として、Sprinklr は常に効率の向上とコスト削減の最適化を目指しています。目標の達成に役立つよう、同社は Amazon Web Services (AWS)、特に Amazon Elastic Compute Cloud (Amazon EC2) を利用しています。これは、クラウドにおいて安全かつサイズ変更可能なコンピューティングキャパシティを提供します。

2021 年、Sprinklr は Amazon EC2 Inf1 インスタンスを試す機会を得ました。これは、ゼロから構築され、かつ、ML 推論アプリケーション向けに最適化されている高性能な機械学習 (ML) 推論チップである AWS Inferentia を搭載しています。Unified-CXM プラットフォーム上のリアルタイムワークロードを GPU ベースの Amazon EC2 インスタンスから AWS Inferentia に移行することで、Sprinklr は大幅なコスト削減を実現し、それらのワークロードにおけるレイテンシーを 30% 超削減しました。さらに、レイテンシーを低減することで、顧客向けの製品やサービスのパフォーマンスも向上しました。

Sprinklr は 2009 年に設立された米国のソフトウェア企業で、世界中に従業員を擁しています。同社は新しい AWS のサービスをいち早く導入しており、そのミッションは世界中の組織が顧客をより幸せにできるようサポートすることです。同社は 4 つの堅牢な製品スイートにわたって 31 を超える異なるソフトウェア製品を提供しており、企業が公開データを分析し、30 のデジタルおよびソーシャルチャネルにわたって顧客とつながるための高度な独自の人工知能エンジンを開発しました。Sprinklr を利用することで、企業は、社内の複数のチームと、および社外のデジタルチャネルでコラボレーションして、より良いカスタマーエクスペリエンスを創出できます。

Sprinklr は常に、コンピューティングコストの削減と効率の最適化を図りながら、カスタマーエクスペリエンスの改善を目指しています。「当社の目標は、常に最新のテクノロジーを利用して、より大きなコスト削減を実現することです」と Sprinklr のインフラストラクチャおよび DevOps 担当バイスプレジデントである Jamal Mazhar 氏は述べています。Sprinklr は ML 推論コストを削減しながらレイテンシーを低減したいと考えており、これらの課題に対応するために AWS のイノベーションに目を向けました。「当社が AWS Inferentia について知ったとき、コスト削減の取り組みを推進するためにそれを考慮に入れるのは自然な流れでした」と Sprinklr の製品エンジニアリング、人工知能担当シニアディレクターである Yogin Patel 氏は述べています。コンピューティングコストの削減と顧客満足度の向上を目的として、Sprinklr は 2021 年 7 月に Amazon EC2 Inf1 インスタンスのテストを開始しました。

Sprinklr の Unified-CXM プラットフォームは、多くの異なるチャネルから取得した非構造化データに対して ML アルゴリズムを使用して、顧客にインサイトを提供します。例えば、同社の自然言語処理とコンピュータビジョンの ML モデルは、ソーシャルメディアの投稿、ブログの投稿、動画コンテンツ、および 30 を超えるチャネルの公開ドメインで利用可能なその他のコンテンツから供給されるさまざまなデータ形式を分析します。Sprinklr は、このコンテンツから顧客の感情やインテントを導き出し、製品に関するインサイトを顧客に提供できます。現在、同社は 500 を超えるモデルにわたって 1 日あたり約 100 億件の予測を実行しています。Sprinklr はワークロードをレイテンシー最適化とスループット最適化の 2 つのグループに分けています。レイテンシーとは推論が宛先に到達するまでにかかる時間をいい、スループットとは特定の期間内に処理されるパケットの数をいいます。「たった 1 つのモデルでもレイテンシーが 20% 低下すれば、大幅なコスト削減につながります」と Patel 氏は述べています。

AWS Inferentia は、大規模なモデルをオフチップで保存する代わりにキャッシュするために使用できる大量のオンチップメモリを備えています。NeuronCore と呼ばれる AWS Inferentia の処理コアは、オンチップメモリに保存されているモデルに高速にアクセスでき、オフチップメモリの帯域幅によって制限されないため、これは推論レイテンシーの低減に大きな影響をもたらす可能性があります。NeuronCore は、クラウドでの高性能推論を大幅に低コストで提供し、デベロッパーが ML をビジネスアプリケーションに簡単に統合できるようにします。

Sprinklr がモデルを Amazon EC2 Inf1 インスタンスに移行し、ベンチマークテストを実行し始めると、同社のレイテンシー最適化ワークロードではレイテンシーが 30% 超低減しました。「当社は、新しい AWS のサービスのテスト、ワークロードでの実験、新しいインスタンスのベンチマーキングに常に関心を抱いています」と Patel 氏は述べています。AWS Inferentia がテストで実現できたレイテンシーの大幅な低減を目の当たりにした Sprinklr は、レイテンシー最適化ワークロードのすべてを Amazon EC2 Inf1 インスタンスに移行することを決定しました。「目標は常にレイテンシーを低減することにあります。これは、より優れたカスタマーエクスペリエンスを意味します」と Mazhar 氏は述べています。「Amazon EC2 Inf1 インスタンスを利用することで、当社はこれを実現できるのです」。

約 20 のモデルを Amazon EC2 Inf1 インスタンスに移行した後、Sprinklr は効率の向上とコスト削減を目的として、コンピュータビジョンとテキストモデルの移行を開始しました。現在では、チームは Amazon EC2 Inf1 インスタンスを使用して 2 週間以内にモデルをデプロイできます。同社は AWS Inferentia に移行する中で、そのプロセスがシンプルであることや、十分なリソースとサポートが利用可能であることを知りました。「適切なチームにすぐに問い合わせることができました」と Mazhar 氏は述べています。「AWS のサポートは、当社が顧客満足度とスタッフの生産性を向上させるのに役立っています」。

Sprinklr は、モデルを AWS Inferentia に移行し続ける中で、自動音声認識やインテント認識などの音声関連モデルをさらに追加して、ビジネスにおける顧客とのエンゲージメントの強化に役立てています。Sprinklr は、これらのモデルを AWS Inferentia にデプロイすることで、顧客が必要とするパフォーマンスと低レイテンシーを大幅に低いコストで提供できると期待しています。