Amazon Robotics 使用 Amazon SageMaker 和 AWS Inferentia 實現大規模 ML 推論

Amazon Robotics 使用其軟體和機器來自動化 Amazon 配送中心的庫存流程。該公司的系統包含三個主要物理元件：行動貨架單元、機器人和員工工作站。機器人將行動貨架單元運送到工作站，員工放上貨物 (上架) 或取出貨物 (揀貨)。Amazon Robotics 的資深軟體經理 Eli Gallaudet 說：「我們現有的上架和揀選工作流程有時會給下游處理造成瓶頸。」「2017 年，我們啟動了一項計劃，以尋找簡化其中一些工作流程的方法。」

為了減少耗時的貨箱掃描，Amazon Robotics 建置了意圖偵測系統，這是一個以深度學習為基礎的電腦視覺系統，經過數百萬個上架動作影片範例的訓練。該公司希望訓練系統自動識別員工放置庫存貨物的位置。Amazon Robotics 公司知道需要雲端運算才能將該深度學習模型部署到 Amazon 配送中心後，於是求助於 AWS。該團隊將其模型部署到 Docker 容器，並使用 Amazon Elastic Container Service (Amazon ECS) (一種全受管的容器協同運作服務) 託管。

在收集了足夠多的上架動作影片範例後，該團隊嘗試將模型架構套用於帶標註的大型影片資料集。經過多次迭代後，該團隊可以開始讓部署的模型自動執行程序。

儘管 Amazon Robotics 可以利用 AWS 上的大量運算資源，但該公司仍然需要自己託管。在 AWS 在 AWS re:Invent 2017 上宣佈推出 Amazon SageMaker 後，Amazon Robotics 就迅速加以採用，從而無需自己建置昂貴的託管解決方案。Amazon Robotics 是第一家大規模部署到 Amazon SageMaker 的公司，並且到了 2021 年 1 月仍然是最大的部署之一。

起初，該團隊主要使用 Amazon SageMaker 來託管模型。Amazon Robotics 根據需要調整其服務的使用方式，最初使用混合架構，在內部部署和雲端各執行一部分演算法。「我們建置了一組核心功能，使我們能夠提供意圖偵測系統，」Amazon Robotics 公司的資深軟體經理 Tim Stallman 說。「然後隨著 Amazon SageMaker 功能上線，我們慢慢開始採用那些功能。」 例如，該團隊採用了 Amazon SageMaker Experiments，該功能使團隊能夠組織、追蹤、比較和評估 ML 實驗和模型版本。

Amazon Robotics 還使用了 Amazon SageMaker 自動擴展。「Amazon SageMaker 不僅管理我們用於推論的主機，」Gallaudet 說，「它還根據工作負載需要自動新增或移除主機。」 由於不需要採購或管理其由 500 多個 GPU 組成的機群，該公司的推論成本節省了近 50%。

Amazon Robotics 已經取得了相當大的成功。該公司使用 Amazon SageMaker 減少了花在管理上的時間並平衡了科學家與軟體開發工程師的人數比例。Amazon SageMaker 還使系統能夠在整個 Amazon 配送網路推出期間水平擴展，並且團隊相信 Amazon SageMaker 能夠滿足其尖峰推論需求。

此解決方案由 Amazon Elastic Compute Cloud (Amazon EC2) 提供支援，它在雲端中提供安全、可調整大小的運算容量，並可讓使用者在新主機類型可用時快速遷移主機類型。透過從 Amazon EC2 P2 執行個體遷移至 Amazon EC2 G4 執行個體，Amazon Robotics 團隊能夠將推論成本降低 20%。現在利用 AWS Inferentia，相較於 G4 執行個體，Amazon Robotics 團隊能夠將推論成本進一步降低 35% (比 P2 執行個體降低 50% 以上)，並且 Inferentia 的輸送量提高了 20%，讓他們每天無需增加資源，即可掃描更多包裹。Amazon Robotics 軟體工程師 Pei Wang 說道︰「到 2022 年，我們的系統將使用超過 1000 部 SageMaker 主機，而 AWS Inferentia 可協助我們以更高的輸送量，針對快速增長的流量提供服務，而無需重新訓練我們的 ML 模型」。

採用 Amazon SageMaker 技術的解決方案在初始部署後發展迅速。Amazon Robotics 團隊一開始在威斯康辛州的一個配送中心小規模實作該解決方案，之後迅速擴展到數十個配送中心。Amazon SageMaker 隨著該解決方案的發展而快速無縫擴展。「我們預計到 2022 年我們的處理量將幾乎翻倍，」Gallaudet 說。

該團隊看到了在 AWS 上進行實驗的其他許多機會，包括在邊緣使用 Amazon SageMaker Edge Manager 執行其模型，該工具可用於跨智慧裝置機群高效管理和監控 ML 模型。Amazon Robotics 還希望建置可以進一步自動化包裹追蹤並協助自動化包裹損壞評估的模型。

透過嘗試使用尖端技術，Amazon Robotics 能夠持續提高配送中心的效率並改善 Amazon 客戶體驗。「我們在這個意圖偵測系統上學到的許多技術以及取得的經驗直接使我們能夠快速推進這些專案，」Stallman 說。