Amazon EC2 Inf1 執行個體

「使用探地雷達和偵測視覺缺陷通常是專家測量員的領域。以 AWS 微型服務為基礎的架構，讓我們能夠處理由自動檢查車輛和檢查員擷取的影片。透過將我們內部建置的模型從傳統的 GPU 型執行個體遷移至 Inferentia，我們能夠將成本降低 50%。此外，比較時間與 G4dn GPU 執行個體時，我們能夠看到效能提升。我們的團隊期待在以 Inferentia 為基礎的 Inf1 執行個體上執行更多工作負載。」

Screening Eagle Technologies 雲端和 AI 長 Jesús Hormigo

NTT PC Communications 是日本的網路服務和通訊解決方案供應商，是在資訊與通訊技術市場推出創新產品的電信領導者。

「NTT PC 開發了 “AnyMotion”，這是一種基於進階姿勢估計 ML 模型的運動分析 API 平台服務。我們使用 Amazon ECS 在 Amazon EC2 Inf1 執行個體上部署了他們的 AnyMotion 平台，以提供全受管容器協同運作服務。透過在 Amazon EC2 Inf1 上部署我們的 AnyMotion 容器，相較於目前一代以 GPU 為基礎的 EC2 執行個體，我們的輸送量提升了 4.5 倍，推論延遲減少了 25%，成本降低了 90%。這些卓越的成效將有助於大規模提升 AnyMotion 服務的品質。」

NTT PC Communications Inc. 軟體工程師 Toshiki Yanagisawa

Anthem 是美國其中一間領先的健康福利公司，為數十個州的超過 4,000 萬會員提供醫療保健服務。 

「數位醫療平台的市場正以驚人的速度增長。由於大量的客戶意見資料及其非結構化性質，因此在這個市場上收集情報是一項極具挑戰性的任務。我們的應用程式透過 DL 自然語言模型 (Transformers)，自動從客戶意見產生可行的洞見。我們的應用程式運算密集，需要以高效能方式進行部署。我們將 DL 推論工作負載，無縫部署至由 AWS Inferentia 處理器提供支援的 Amazon EC2 Inf1 執行個體上。全新 Inf1 執行個體將 GPU 型執行個體的輸送量提高了 2 倍，讓我們能夠簡化推論工作負載。」

Anthem 首席 AI/資料科學家 Numan Laanait 和 Miro Mihaylov 博士

「Condé Nast 的全球投資組合有 20 多個領先的媒體品牌，包括 Wired、 Vogue 和 Vanity Fair。在幾個星期內，我們的團隊能夠將我們的推薦引擎與 AWS Inferentia 晶片整合為一體。這種聯合為 SageMaker 的 Inf1 執行個體上最先進的自然語言模型提供多個執行時間優化。因此，我們觀察到與以前部署的 GPU 執行個體相比，成本降低了 72%。」

Condé Nast 人工智慧基礎架構首席工程師 Paul Fryzel

「Ciao 正在將傳統的安全攝影機演進為相當於人眼的高效能分析攝影機。我們的應用程式正在促進災難預防，使用雲端 AI 攝影機解決方案來監控環境狀況，以在災難發生前發出警示。此類警示可促使事先對情況做出回應。根據物件偵測，我們還可以透過從實體店的影片中估算沒有員工時的賓客人數，從而提供洞見。Ciao 攝影機在商業上採用 AWS Inferentia 型 Inf1 執行個體，相較於 YOLOv4 的 G4dn，其性價比提升了 40%。我們期待 Inf1 憑藉其顯著的成本效益提供更多服務。」

Ciao Inc. 軟體工程師 Shinmoto Matsumoto

「The Asahi Shimbun 是日本最受歡迎的日報之一。媒體實驗室是我們公司其中一個部門，其使命是研究最新技術，尤其是 AI，以及在新業務中採用先進的技術。隨著在東京推出 AWS Inferentia 型 Amazon EC2 Inf1 執行個體，我們在這些執行個體上測試了 PyTorch 文字摘要 AI 應用程式。該應用程式處理大量文字，並透過最近 30 年的文章產生經過訓練的標題和摘要句子。使用 Inferentia，相較於 CPU 執行個體，我們將成本降低了一個數量級。成本的大幅降低讓我們能夠大規模部署最複雜的模型，而過去我們認為這在經濟上不可行。」

Asahi Shimbun Company 媒體實驗室資深管理人員 Hideaki Tamori 博士

「CS Disco 正在重塑法律技術，成為人工智慧解決方案的領先供應商，提供由律師為同行開發的電子蒐證功能。Disco AI 利用複雜的 NLP 模型 (運算量大且成本高昂) 來加速完成吃力不討好的資料處理工作、完成 TB 級資料的梳理、加快審查時間並提高審查準確性。Disco 發現，與現今的 GPU 執行個體相比，AWS Inferentia 型 Inf1 執行個體在 Disco AI 中的推論成本至少降低 35%。因為有這次 Inf1 執行個體的滿意經驗，CS Disco 將探索遷移到 Inferentia 的機會。」

CS Disco 資深研究主管Alan Lockett

「在 Talroo，我們為客戶提供了一個資料驅動型平台，讓他們能夠吸引獨特的求職者，以便聘用他們。我們持續探索新科技，確保能為客戶提供最理想的產品與服務。使用 Inferentia，我們可以從大量文字資料中擷取洞見，以增強我們採用 AI 技術的搜尋和比對技術。Talroo 充分利用 Amazon EC2 Inf1 執行個體，與 SageMaker 攜手建立高輸送量 NLU 模型。Talroo 的初始測試表明，相較於 G4dn GPU 型執行個體，Amazon EC2 Inf1 執行個體的推論延遲降低了 40%，而輸送量則提升了 2 倍。根據這些結果，Talroo 期待將 Amazon EC2 Inf1 執行個體用作其 AWS 基礎架構的一部分。」

Talroo 軟體工程師 Janet Hu

「數位媒體專業人員 (DMP) 透過以 AI 為基礎的 ZIA™ 平台視覺化未來。憑藉 DMP 的高效電腦視覺分類技術，可對大量即時影像資料建立洞察，例如狀態觀察、犯罪預防和事故防範。我們認識到，相較於 GPU 型 G4 執行個體，在 AWS Inferentia 型 Inf1 執行個體上，我們的影像分割模型執行速度提升了四倍。由於具有更高的輸送量和更低的成本，Inferentia 讓我們能夠大規模部署 AI 工作負載，例如用於車載行車記錄儀的應用程式。」

Hiroyuki Umeda - 銷售與市場部總監兼總經理，數位媒體專業人員

Hotpot.ai 讓非設計師人士能夠建立引人入勝的圖形，並協助專業設計師自動化機械任務。 

「由於 ML 是我們的策略核心，因此試用以 AWS Inferentia 為基礎的 Inf1 執行個體讓我們驚喜不已。我們發現 Inf1 執行個體可輕鬆整合至我們的研發管道中。最重要的是，相較於 G4dn GPU 型執行個體，我們觀察到驚人的效能提升。在我們的第一個模型中，Inf1 執行個體的輸送量提高約 45%，每次推論的成本降低近 50%。我們打算與 AWS 團隊緊密合作，以移植其他模型，並將我們的大多數 ML 推論基礎架構轉移至 AWS Inferentia。」

Hotpot.ai 創辦人 Clarence Hu

「SkyWatch 要處理每天從太空擷取的百兆級像素的地球觀測資料。使用 Amazon SageMaker 採用基於 AWS Inferentia 的新 Inf1 執行個體，進行即時雲端偵測和影像品質評分，快速而簡單。只需在我們的部署組態中切換執行個體類型。將執行個體類型切換至基於 Inferentia 的 Inf1，我們提升了 40% 的效能，並降低了 23% 的總成本。這是重大獲益。這使我們降低了整體營運成本，同時以最小的工程負擔繼續為客戶提供高品質衛星影像。我們希望將我們的全部推論端點和批次 ML 處理轉換為使用 Inf1 執行個體，以進一步提升我們的資料可靠性和客戶體驗。」

SkyWatch 工程經理 Adler Santos

Money Forward, Inc. 為企業和個人提供開放和公平的金融平台。Money Forward 集團公司 HiTTO Inc. 提供人工智慧聊天機器人服務，作為該平台的一部分，該服務使用定製的 NLP 模型來滿足其企業客戶的多樣化需求。

「將我們的 AI 聊天機器人服務遷移至 Amazon EC2 Inf1 執行個體非常簡單。我們在兩個月內完成了遷移，並使用 Amazon ECS 在 Inf1 執行個體上啟動了大規模服務。透過為每個 Inf1 執行個體提供多個模型，我們能夠將推理延遲降低 97%，推理成本降低 50% 以上 (相對於以 GPU 為基礎的可比較執行個體)。我們期待在以 Inferentia 為基礎的 Inf1 執行個體上執行更多工作負載。」

Money Forward, Inc. 技術長辦公室技術主管 Kento Adachi