Zoox usa a computação de alta performance escalável da AWS para testar veículos autônomos rapidamente

A Zoox, subsidiária independente da Amazon e empresa de veículos autônomos, precisou enxergar além de sua infraestrutura on-premises para executar simulações que validassem a segurança de seus veículos. Suas workloads de simulação estavam propensas a intermitências, o que significava que a Zoox enfrentava mais demanda por capacidade computacional do que suas máquinas conseguiam suportar. A empresa optou por criar um modelo híbrido de infraestrutura, recorrendo à Amazon Web Services (AWS) para computação de alta performance para complementar seu cluster local de supercomputadores. 

Aproveitando o Amazon Elastic Compute Cloud (Amazon EC2), que oferece uma ampla solução de computação com opções de processador, armazenamento, redes, sistema operacional e modelo de compra, em paralelo com o Slurm, gerenciador de workloads de código aberto do parceiro da AWS SchedMD, a Zoox acelerou os testes e o desenvolvimento para grandes quantidades de dados e reduziu o tempo de entrada no mercado. Até o final de 2024, ela espera usar centenas de petabytes de dados na AWS.

Fundada em 2014, a Zoox está desenvolvendo uma frota de veículos autônomos, simétricos e elétricos alimentados por bateria que serão utilizados para serviços de carona e foram concebidos para reduzir o congestionamento e a poluição em ambientes urbanos. Seus veículos priorizam a experiência dos passageiros em vez de a do motorista. Os assentos estilo carruagem promovem a interação social, pois os passageiros ficam voltados uns para os outros. Todo veículo bidirecional é capaz de se dirigir a uma vaga de estacionamento, deixar os passageiros e sair da vaga como se estivesse dirigindo para a frente.  Simular cenários de direção amplos e diferentes é crucial no desenvolvimento e na produção desses veículos para verificar a sua segurança.

A Zoox conta com um cluster on-premises que fornece grande parte da capacidade computacional necessária para várias workloads, principalmente simulação, mas também machine learning para melhorar a capacidade de percepção, bem como a ingestão e o processamento de dados. Porém, como a empresa cresceu, as workloads oscilaram drasticamente, às vezes excedendo a capacidade do cluster on-premises, que é difícil de escalar com eficiência. A Zoox precisou ampliar seu número de máquinas para lidar com o volume de computação.

A empresa escolheu a AWS porque proporcionaria à Zoox a escalabilidade e a flexibilidade de usar e pagar apenas pela capacidade computacional quando fosse necessário. A Zoox então poderia redirecionar seus recursos para novos projetos inovadores e solucionar desafios técnicos complexos. “Usamos a AWS para lidar com workloads especializadas que precisam estar próximas dos dados”, diz Conrad Herrmann, engenheiro de software da Zoox. O Slurm, gerenciador de workloads da SchedMD que otimiza a velocidade, o throughput e o consumo de recursos de workloads essenciais à missão para computação de alta performance e inteligência artificial, também usa a AWS. “Há pouquíssimos controladores de trabalho que são utilizados no mundo da computação de alta performance, e o Slurm é um recurso antigo”, afirma Herrmann. “Nós tínhamos muita confiança de que funcionaria para nós.”

No início, a Zoox começou a testar uma workload na AWS que extrai dados do Amazon Simple Storage Service (Amazon S3), que os clientes podem usar para armazenar e proteger qualquer quantidade de dados para uma ampla gama de casos de uso, e começou a indexá-la para detectar problemas que poderiam surgir. Depois, a Zoox criou versões experimentais de seu software, como uma tarefa de machine learning projetada para ser executada na AWS, combinando-a com uma instância do Amazon EC2 para medir a performance. Em seguida, a Zoox criou workloads de produção e as executou na AWS para testar se elas encerrariam após determinado período. “Usamos a AWS nessas situações para obter resultados mais rapidamente, de modo que possamos acelerar o desenvolvimento”, diz Herrmann. “Se o veículo não faz o necessário nas simulações de segurança, alteramos o comportamento do sistema de direção e tentamos novamente até obtermos o comportamento correto em milhões de situações diferentes.”

Ao contar com a capacidade computacional da AWS, a Zoox consegue selecionar as instâncias do Amazon EC2 que atendem às suas necessidades de preço, confiabilidade e disponibilidade, com diferentes escalas de máquinas, memória e acesso à rede. “Temos de pensar na melhor arquitetura do ambiente em relação a custos e resultados”, afirma Herrmann. “Se você reduz todos os outros custos, mas é necessário esperar pelos resultados, isso aumenta o custo total para a empresa. Na AWS, conseguimos encontrar uma forma eficaz de desenvolver o veículo sem atrasos.” Essa flexibilidade também ajuda as equipes da Zoox a cooperar de maneira mais eficaz: “Há um conjunto complexo de interações entre os custos, a arquitetura e os trabalhos”, diz Herrmann. “Temos de trabalhar estreitamente em muitas disciplinas para equilibrar tudo. Usar a AWS nos ajuda a juntar todas essas peças do quebra-cabeça para executar esses trabalhos com eficiência.”

Além disso, a Zoox usa a AWS para ajudá-la a gerenciar períodos com uso intensivo de computação. “Quando os engenheiros de projeto de veículos fazem uma alteração no sistema de controle de direção, tais alterações precisam de centenas de horas de tempo de CPU e GPU para serem validadas”, diz Herrmann. “Usando o Slurm e a AWS, nosso cluster é capaz de ultrapassar o dobro de número de CPUs e GPUs disponíveis para tarefas de computação. Essa capacidade de expansão acelera a percepção do sensor, o machine learning e os cenários de direção simulados que são os principais elementos para criar um sistema de direção autônomo confortável e seguro.”

Para gerenciar instâncias do Amazon EC2 para serviços de longa duração e trabalhos ocasionais, a Zoox usa o Amazon Elastic Kubernetes Service (Amazon EKS), que ajuda as empresas a gerenciar seus clusters e aplicações do Kubernetes em ambientes híbridos. O Slurm usa nuvens privadas virtuais que contêm instâncias do Amazon EC2 alocadas de maneira dinâmica conforme a demanda. Quando alguém envia um trabalho para o Slurm, o controlador pode optar por executá-lo na nuvem e selecionar quantas instâncias serão usadas. “Conseguimos excecutar mil nós em uma única região da AWS e executar um trabalho em horas para obter resultados rápidos em experimentos essenciais de pesquisa e desenvolvimento, sem esperar que esses nós fiquem disponíveis em nosso datacenter on-premises nem criar outro datacenter”, diz Hermann.

A Zoox armazena dezenas de petabytes de dados no Amazon S3. “Nosso armazenamento precisa ser escalado muito rapidamente para petabytes de dados à medida que aumentamos o número de veículos e as computações e simulações que fazemos”, afirma Herrmann. O Slurm inicia instâncias do Amazon EC2 que podem acessar os dados rapidamente e realizar computações com eficiência. A Zoox monitora os dados no Amazon S3 usando o Amazon CloudWatch, que coleta dados operacionais e de monitoramento e oferece uma exibição unificada dos recursos, das aplicações e dos produtos da AWS executados na AWS e em servidores on-premises. “Usar o Amazon CloudWatch nos ajuda a entender o que está acontecendo e o que está funcionando”, diz Herrmann.

Nos próximos anos, a Zoox levará suas workloads do estágio experimental para o estágio de produção, que espera usar centenas de petabytes de dados. Na AWS, a Zoox criou uma infraestrutura híbrida que ingere uma enorme quantidade de dados com rapidez e bom custo-benefício e executa grandes simulações, acelerando o teste e o desenvolvimento de seus veículos autônomos. “Usando serviços gerenciados da AWS, podemos criar sistemas complexos que nos permitem focar nossa missão, sem nos preocupar com todos os outros sistemas”, diz Herrmann. “Se encontramos um problema, a AWS soluciona para nós.”