Amazon Robotics usa Amazon SageMaker e AWS Inferentia para habilitar inferências de ML em escala

A Amazon Robotics usa software e máquinas para automatizar o fluxo de inventários nos centros de distribuição da Amazon. O sistema da empresa tem três componentes físicos importantes: unidades móveis de armazenamento, robôs e estações de trabalho para funcionários. Os robôs colocam estantes móveis nas estações, e os funcionários abastecem o estoque (armazenamento) ou coletam itens (retirada). “Às vezes, nossos fluxos de trabalho existentes de armazenamento e retirada acabam criando obstáculos no processamento de tarefas posteriores. Em 2017, lançamos uma iniciativa para descobrir como simplificar esses fluxos de trabalho”, contou Eli Gallaudet, gerente sênior de softwares da Amazon Robotics.

Com o objetivo de reduzir a verificação demorada de recipientes, a Amazon Robotics criou o Intent Detection System, um sistema de visão computacional baseado em aprendizado profundo treinado com milhões de exemplos de vídeos com ações de armazenamento. A empresa queria treinar o sistema para que ele identificasse automaticamente o local onde os associados colocam itens do estoque. Como a Amazon Robotics sabia que precisaria de computação em nuvem para implantar os modelos de aprendizado profundo nos centros de distribuição da Amazon, ela recorreu à AWS. A equipe implantou os modelos em contêineres do Docker, hospedando-os com o Amazon Elastic Container Service (Amazon ECS), um serviço de orquestração de contêineres totalmente gerenciado.

Quando a equipe coletou um número suficiente de vídeos com exemplos de ações de organização, ela tentou aplicar as arquiteturas de modelo no conjunto maior de dados de vídeos comentados. Após várias iterações, a equipe pôde deixar os modelos implantados automatizarem o processo.

Embora a Amazon Robotics pudesse usar os amplos recursos de computação da AWS, a empresa ainda precisava lidar com a hospedagem. Quando a AWS anunciou o lançamento do Amazon SageMaker no AWS re:Invent 2017, a Amazon Robotics logo o adotou, evitando a necessidade de criar uma solução custosa de hospedagem por conta própria. A Amazon Robotics foi a primeira empresa a implantar o Amazon SageMaker em grande escala e continua tendo uma das maiores implantações desde janeiro de 2021.

No início, a equipe usava o Amazon SageMaker principalmente para hospedar modelos. A Amazon Robotics adaptou o uso do serviço conforme necessário, inicialmente usando uma arquitetura híbrida e executando alguns algoritmos on-premises e outros na nuvem. “Criamos um conjunto principal de funcionalidades que nos permitiu desenvolver o Intent Detection System. Depois, com a disponibilidade dos recursos do Amazon SageMaker, começamos a adotá-los aos poucos”, contou Tim Stallman, gerente sênior de softwares da Amazon Robotics. A equipe adotou, por exemplo, o Amazon SageMaker Experiments — um recurso que permitiu que a equipe organizasse, monitorasse, comparasse e avaliasse experimentos e versões de modelos de ML.

A Amazon Robotics também usou a escalabilidade automática do Amazon SageMaker. “O Amazon SageMaker faz muito mais do que gerenciar os hosts que usamos para as inferências. Ele também adiciona ou remove automaticamente hosts conforme necessário para processar a workload”, comentou Gallaudet. Como a empresa não precisa adquirir nem gerenciar sua própria frota de mais de 500 GPUs, ela reduziu em quase 50% os custos de inferência.

Desde então, a Amazon Robotics realizou grandes avanços. A empresa usou o Amazon SageMaker para reduzir o tempo gasto na gestão e equilibrar a proporção de cientistas e engenheiros de desenvolvimento de software. O Amazon SageMaker também permitiu a redução e o aumento da escala do sistema na horizontal durante o lançamento na rede de distribuição da Amazon e a equipe tem certeza de que o Amazon SageMaker poderá lidar com os picos de demanda de inferência.

Essa solução conta com o suporte do Amazon Elastic Compute Cloud (Amazon EC2), que oferece capacidade computacional segura e redimensionável na nuvem e permite que usuários migrem tipos de host rapidamente com a disponibilização de novos tipos. A equipe do Amazon Robotics conseguiu reduzir seus custos de inferência em 20% migrando de Instâncias P2 do Amazon EC2 para Instâncias G4 do Amazon EC2. Agora utilizando o AWS Inferentia, a equipe da Amazon Robotics é capaz de reduzir ainda mais os custos de inferência em 35% em relação a instâncias G4 (mais de 50% de redução em relação a instâncias P2) e o Inferentia forneceu um aumento de 20% no throughput, permitindo que mais pacotes fossem escaneados diariamente, sem exigir mais recursos. “Nosso sistema usará mais de 1000 hosts SageMaker em 2022, e o AWS Inferentia nos ajuda a atender o tráfego cada vez maior, com um throughput superior, sem retreinar nossos modelos de ML", informa Pei Wang, engenheiro de software da Amazon Robotics.

A solução com o suporte do Amazon SageMaker cresceu rapidamente após a implantação inicial. A equipe da Amazon Robotics começou a implementar a solução em pequena escala em um centro de distribuição em Winsconsin e ampliou o plano rapidamente para dezenas de unidades. Com o crescimento da solução, o Amazon SageMaker se adaptou rápida e perfeitamente. “Esperamos quase dobrar nosso volume em 2022”, afirma Gallaudet.

A equipe vê diversas outras oportunidades de experimentos na AWS, como a execução de seus modelos na borda por meio do Amazon SageMaker Edge Manager, que gerencia e monitora modelos de ML com eficiência em frotas de dispositivos inteligentes. A Amazon Robotics também pretende criar modelos que possam automatizar ainda mais o monitoramento de pacotes e ajudar a automatizar a avaliação de danos em pacotes.

Graças aos testes com tecnologias de ponta, a Amazon Robotics continua aumentando a eficiência nos centros de distribuição e melhorando a experiência do cliente da Amazon. “Muitas das técnicas que aprendemos e experiências que tivemos com o Intent Detection System contribuíram diretamente para a rápida tomada de decisões nesses projetos”, contou Stallman.