Finch Computing が言語翻訳に AWS Inferentia を利用することで、推論コストを 80% 削減

「find」(見つける) と「search」(検索する) という単語の組み合わせである Finch は、バージニア州レストンとオハイオ州デイトンにオフィスを構え、メディア企業やデータアグリゲーター、米国の情報機関や政府組織、金融サービス企業にサービスを提供しています。同社の製品は、トーンやインテントの解読など、人間の言語のニュアンスを理解するようにモデルをトレーニングする人工知能のサブセットである NLP を中心に構成されています。同社の製品である Finch for Text は、情報アセットに関するほぼリアルタイムのインサイトを顧客に提供できるようにするために、高性能のアクセラレーションコンピューティングを利用する高密度の並列機械学習 (ML) 計算を使用しています。例えば、そのエンティティの曖昧さ回避機能により、顧客は複数の意味や綴りを持つ単語の正しい意味を解釈できます。

Finch はオランダ語をサポートするように機能を拡張しました。このことを通じて、フランス語、ドイツ語、スペイン語、その他の言語にも対応できるようにさらにスケールする必要があるという考えに至りました。この決定は、Finch のクライアントがそれらの言語で多くのコンテンツを有していたためだけでなく、追加言語をサポートできるモデルが新しい顧客を引きつける可能性があるという理由からも価値のあるものでした。Finch は、スループットや応答時間、クライアントにとっての重要な要素、デプロイコストの増加に悪影響を及ぼすことなく、大量の追加データを処理する方法を見つける必要がありました。

AWS が主催するグローバルなクラウドコンピューティングコミュニティ向けの年次カンファレンスである AWS re:Invent 2021 において、Finch の担当者は、ほぼあらゆるワークロード向けに安全でサイズ変更可能なコンピューティングキャパシティを提供する Amazon Elastic Compute Cloud (Amazon EC2) の AWS Inferentia ベースのインスタンスについて知りました。AWS は、戦略、テクノロジー、ビジネストランスフォーメーションに重点的に取り組んでいるコンサルティング企業であり、AWS パートナーでもある Slalom に Finch を紹介しました。AWS re:Invent の後の 2 か月間、Slalom と Finch のチームメンバーは費用対効果の高いソリューションの構築に取り組みました。「AWS チームからガイダンスを得ることに加えて、当社は Slalom ともつながることができました。このことは、ワークロードを最適化し、このプロジェクトを加速することに役立ちました」と Finch の創業者兼最高技術責任者である Scott Lightner 氏は述べています。

Finch と Slalom は連携して、AWS Inferentia ベースの Amazon EC2 Inf1 インスタンスの使用を最適化するソリューションを構築しました。これは、クラウドにおいて低コストで高性能の ML 推論を提供します。「GPU のコストを考えると、製品の収益性を維持しながらお客様に追加言語を提供することはできなかったでしょう」と Lightner 氏は述べています。「Amazon EC2 Inf1 インスタンスは、当社のためにその方程式を変えてくれました」。

同社独自の深層学習翻訳モデルは、PyTorch on AWS で実行されていました。これは、ML モデルの開発と本番環境へのデプロイを簡単にするオープンソースの深層学習フレームワークです。Finch は Docker を使用して PyTorch モデルをコンテナ化し、デプロイしました。Finch は、コンピューティングを多用するこれらのモデルを、GPU ベースのインスタンスから、AWS Inferentia を搭載した Amazon EC2 Inf1 インスタンスに移行しました。Amazon EC2 Inf1 インスタンスは、コンピュータビジョンから NLP に至るまで、さまざまなモデルを高速化するために構築されました。チームは、モデルサイズをさまざまに組み合わせ、GPU を使用していたときと同じスループットを維持しながら、コストを大幅に削減できるソリューションを構築できました。「AWS Inferentia を利用することで、お客様が利用しやすいプライスポイントで、必要なスループットとパフォーマンスを得ることができます」と Lightner 氏は述べています。

この戦略には、コンテナ化されたアプリケーションを組織が簡単にデプロイ、管理、スケールできるようにするフルマネージド型のコンテナオーケストレーションサービスである Amazon Elastic Container Service (Amazon ECS) への Docker コンテナのデプロイが含まれていました。このソリューションには、深層学習アプリケーションを迅速に構築するための事前設定済みの環境である AWS Deep Learning AMI (DLAMI) が組み込まれています。Finch は、AWS Inferentia AMI を DevOps パイプラインに組み込み、Amazon ECS を使用してカスタマイズされたコンテナを実行することを目的として、AWS Inferentia を使用するように Infrastructure as Code テンプレートを更新しました。「DevOps パイプラインを Amazon EC2 Inf1 インスタンスと Amazon ECS で実行するようにしたことで、より多くの深層学習モデルを迅速にデプロイできるようになりました」と Finch のチーフアーキテクトである Franz Weckesser 氏は述べています。実際、Finch はウクライナ語をサポートするモデルをわずか 2 日で構築しました。数か月以内に Finch は、ドイツ語、フランス語、スペイン語での NLP をサポートする 3 つの ML モデルを追加でデプロイするとともに、既存のオランダ語モデルのパフォーマンスを改善しました。

Amazon EC2 Inf1 インスタンスを利用することで、同社はこれらの新製品の開発速度を向上させながら、推論コストを 80% 超削減できました。新しいモデルの追加により、追加言語からインサイトを得ることに関心を抱く顧客を引き付けることができ、既存の顧客からは肯定的なフィードバックが寄せられました。「インフラストラクチャに大規模な変更を加えるには、常に課題が伴います」と Lightner 氏は述べています。「しかし、当社のチームが Slalom と AWS のサポートを受けて粘り強く取り組んだことで、すぐにそれらを克服することができました。最終的な結果は、労力をかけた価値があるものとなりました」。

Finch は、今後もさらに多くのモデルを AWS Inferentia に移行していきたいと考えています。これらのモデルには、特定のコンテンツを肯定的、否定的、または中立的として識別する Sentiment Assignment (感情割り当て) と、テキスト内で言及されているエンティティ間の関係を検出する、コンピューティングを多用するアプリケーションである Relationship Extraction (関係抽出) と呼ばれる新機能が含まれています。また、Finch は、新しい言語を追加し続けており、次はアラビア語、中国語、ロシア語を計画しています。「AWS Inferentia で業務を遂行した経験はすばらしいものとなりました」と Lightner 氏は述べています。「当社と協力して、ビジネスの成長に合わせてスケールできるようサポートしてくれるクラウドプロバイダーがいるのは本当に喜ばしいことです」。