Finch Computing 使用 AWS Inferentia 進行語言翻譯，將推論成本降低 80%

Finch (由 Find [尋找] 和 Search [搜尋] 這兩個英文單字組合而成) 在維吉尼亞州州的雷斯頓和俄亥俄州的代頓設有辦事處，致力於為媒體公司和資料整合公司、美國情報部門和政府組織以及金融服務公司提供服務。該公司的產品以 NLP 為中心，NLP 是人工智慧的一個子集，用來訓練模型以理解人類的語言，包括解讀語氣和意圖。其產品 Finch for Text 利用密集的平行機器學習 (ML) 運算 (這些運算依賴高效能的加速運算)，以便能夠近乎即時地向客戶提供有關其資訊資產的洞察。例如，利用該產品的實體歧義消除功能，客戶能夠解讀具有多種含義或拼寫之單字的正確含義。

他們實現了擴展，增加了對荷蘭文的支援，這讓他們想要進一步擴展其產品，以支援法文、德文、西班牙文以及其他語文。這一決定非常重要，不僅是因為他們的客戶擁有這些語言的很多內容，還因為支援更多語言的模型能夠吸引到新的客戶。他們需要找到一種方法，以便能夠在不影響服務客戶時的輸送量、回應時間、關鍵因素或者不增加部署成本的情況下，處理大量的額外資料。

在 AWS 舉辦的全球雲端運算社群年度大會 AWS re:Invent 2021 上，Finch 的代表了解了 Amazon Elastic Compute Cloud (Amazon EC2) 中以 AWS Inferentia 為基礎的執行個體，這些執行個體可為幾乎任何工作負載提供安全且可調整大小的運算容量。AWS 將 Finch 推薦給 AWS 合作夥伴 Slalom，這是一家專注於策略、技術和業務轉型的諮詢公司。AWS re:Invent 過後的兩個月，Slalom 和 Finch 團隊成員合作建置一個經濟實惠的解決方案。Finch 的創辦人兼技術長 Scott Lightner 表示：「除了取得 AWS 團隊的指導以外，我們還與 Slalom 建立了聯繫，他們協助我們最佳化了工作負載並加快了這個專案的進度。」

Finch 和 Slalom 合作建置了一個解決方案，最佳化了以 AWS Inferentia 為基礎的 Amazon EC2 Inf1 執行個體的使用。這些執行個體以低廉的成本在雲端提供高效能的 ML 推論。Lightner 表示：「考慮到 GPU 的成本，我們根本不可能在保持產品盈利的同時為客戶提供更多的語言。」「但 Amazon EC2 Inf1 執行個體協助我們取得了突破。」

該公司的專有深度學習翻譯模型在 PyTorch on AWS 上執行，後者是一個開放原始碼深度學習架構，可用於輕鬆開發 ML 模型並將它們部署到生產環境。他們使用 Docker 對自己的 PyTorch 模型進行容器化和部署，並將這些運算密集型模型從以 GPU 為基礎的執行個體遷移到採用 AWS Inferentia 技術的 Amazon EC2 Inf1 執行個體。Amazon EC2 Inf1 執行個體旨在加速電腦視覺和 NLP 等各種模型。這樣，該團隊便能夠建置一個具有混合模型規模並保持與使用 GPU 時相同的輸送量的解決方案，但成本要低得多。Lightner 表示：「藉助 AWS Inferentia，我們能夠以客戶負擔得起的價格提供客戶所需的輸送量和效能。」

這一策略需要將 Docker 容器部署到 Amazon Elastic Container Service (Amazon ECS)，後者是一項全受管式容器協同運作服務，可以讓組織輕鬆部署、管理和擴展容器化應用程式。該解決方案採用了 AWS Deep Learning AMI (DLAMI)，這是一些用來快速建置深度學習應用程式的預設定環境。Finch 將 AWS Inferentia AMI 整合到自己的 DevOps 管道，並更新了其基礎設施即程式碼範本，以在 Amazon ECS 中使用 AWS Inferentia 執行自訂容器。Finch 首席架構師 Franz Weckesser 表示：「在 Amazon EC2 Inf1 執行個體和 Amazon ECS 上執行 DevOps 管道之後，我們能夠更快地部署更多的深度學習模型。」事實上，在僅僅兩天內，Finch 便建置了一個支援烏克蘭文的模型。在短短的幾個月內，Finch 部署了另外的三個分別支援德文、法文和西班牙文 NLP 的 ML 模型，並提高了現有荷蘭文模型的效能。

藉助 Amazon EC2 Inf1 執行個體，他們提高了這些新產品的開發速度，同時將推論成本降低了 80% 以上。新模型的加入吸引了渴望從其他語言中取得洞察的客戶，並且也獲得了現有客戶的積極意見回饋。Lightner 表示：「對基礎設施進行全面改造總是會遇到一些挑戰。」「不過，在 Slalom 和 AWS 的協助下，我們的團隊不懈努力，很快就戰勝了這些挑戰。最終的結果證明，這一切都是值得的。」

Finch 希望繼續將更多模型遷移到 AWS Inferentia。這些模型包括 Sentiment Assignment (將一段內容識別為積極、消極或中性) 以及一項名為 Relationship Extraction 的新功能，這是一個運算密集型應用程式，用來探索文字中提到的多個實體之間的關係。Finch 會繼續增加新的語文，接下來將支援阿拉伯文、中文和俄文。Lightner 表示：「在使用 AWS Inferentia 期間，我們的體驗非常好。」「有這樣一家雲端供應商與我們攜手共進，並協助我們隨業務的增長進行擴展，這真是太棒了。」