Clientes do AWS Step Functions

A Coinbase é uma plataforma segura de câmbio digital que facilita a compra, venda e armazenamento de criptomoedas, como Bitcoin, Ethereum e Litecoin. Em 2017, a Coinbase é a maior corretora de bitcoins do mundo e atende usuários em 33 países. A Coinbase tem uma organização de engenharia de alto desempenho. Eles fazem implantações centenas de vezes por dia em centenas de projetos, lançam novos recursos, desde a ideia até o lançamento, em menos de uma hora e mantêm baixas taxas de falha. Isso é possível porque a maioria de seus processos de implantação e gerenciamento de mudanças são automatizados e seus engenheiros adotaram uma cultura de DevOps.

Uma parte fundamental dessa automação é seu pipeline de implantação seguro e automatizado, o Odin. O Odin pega uma descrição de uma versão do projeto e a lança com segurança na AWS. A Coinbase automatizou o Odin usando o AWS Step Functions, permitindo a implantação de aplicativos de 12 fatores na AWS com facilidade, confiança e segurança. O Step Functions forneceu as ferramentas para confiabilidade e visibilidade de ponta a ponta prontas para uso, com um modelo operacional de tecnologia sem servidor que não exige que nenhuma infraestrutura seja provisionada ou gerenciada. Projetar o Odin como uma máquina de estado do Step Functions permite que a Coinbase monitore visualmente o progresso da implantação e audite o passo a passo de cada implantação. Com uma nova visão sobre as razões pelas quais os serviços estavam falhando, a Coinbase conseguiu melhorar sua taxa de implantações essenciais bem-sucedidas de 90% para 97%. A visibilidade fornecida aos engenheiros permitiu que eles diagnosticassem e resolvessem seus próprios problemas com rapidez e reduziu o número de tickets de suporte relacionados a implantações malsucedidas.

“Se uma equipe foca em incorporar automação de qualidade em seus fluxos de trabalho, o resultado é a estabilidade. Ao criar automação de qualidade com serviços como o AWS Step Functions, a Coinbase evita a troca da velocidade de negociação pela estabilidade e, em vez disso, conseguimos os dois.”

Graham Jenson, Engenheiro de infraestrutura da Coinbase

A Cox Automotive Inc. facilita a compra, venda, propriedade e uso de carros. Para apoiar a publicidade digital, eles queriam aumentar o volume e a qualidade de seus modelos de previsão de machine learning. No entanto, eles temiam que seus modelos pudessem mudar com o tempo, levando a decisões erradas. Incluir a supervisão do cientista de dados no processo de reciclagem do modelo foi a melhor solução, mas o desafio era fazer isso sem desacelerar a equipe de ciência da decisão.

A Cox Automotive decidiu automatizar seu fluxo de trabalho de entrega de modelos de ML com a AWS, incluindo um pipeline de aprovação de modelos coordenado pelo AWS Step Functions. Depois que os modelos são treinados novamente usando o Amazon SageMaker, os artefatos e diagnósticos de saída são enviados para o Amazon S3, o que aciona o Step Functions para executar um fluxo de trabalho de aprovação do modelo. Um e-mail é enviado para um cientista de dados, que analisa o modelo e clica em “Aprovar” ou “Rejeitar”. Se aprovado, o Step Functions envia os artefatos para um bucket S3 de destino junto com uma notificação do Amazon SNS indicando que o novo modelo está pronto para consumo.

Investir em automação deu às duas equipes tempo para trabalhar em atividades de maior valor. A Cox Automotive agora tem um processo automatizado e reutilizável que permite que eles passem mais tempo criando modelos mais precisos e menos tempo criando canais de implantação.

“O uso de serviços como o Amazon SageMaker e o AWS Step Functions para automatizar a implantação de modelos nos permitiu oferecer modelos recorrentes de qualidade e quase totalmente automatizados para a empresa com o mínimo de intervenção humana e sobrecarga.”

Jeremy Irwin, arquiteto líder de soluções da Cox Automotive

A CyberGRX cria uma plataforma de gerenciamento de riscos que identifica, mede e prioriza os riscos cibernéticos de terceiros, transformando o gerenciamento de riscos cibernéticos de terceiros para empresas em todo o mundo. Ela optou por se basear na Amazon Web Services (AWS) devido à simplicidade da implantação e à forma como o design se mapeava facilmente aos fluxos de trabalho existentes da empresa.

“Precisávamos executar cálculos paralelos massivos em nosso algoritmo de rede bayesiano e decidimos usar o estado do mapa distribuído do AWS Step Functions porque ele fornecia a capacidade de escalar de uma forma que antes era inatingível. Usando o Distributed Map, conseguimos processar toda a troca de dados de 227.000 empresas (57 bilhões de pontos de dados) em menos de uma hora, o que antes levava mais de 8 dias de processamento. Isso não apenas nos economizou uma grande quantidade de tempo de mão de obra, mas também o tornou muito mais barato.“

Charles Burton, Director, Senior Software Engineer na CyberGRX

A Xylem é uma empresa líder global em tecnologia de água comprometida com o desenvolvimento de soluções tecnológicas inovadoras para os desafios mundiais relacionados à água. Para fazer análises, a Xylem estava usando um data lake on-premises baseado no Hadoop para armazenar grandes quantidades de dados de medição de eletricidade, água e gás. No entanto, essa solução limitou seus recursos de análise de dados e não era flexível o suficiente para permitir a adição de novos projetos. O processamento de dados levava de quatro a cinco horas por dia e, se eles adicionassem novos clientes, até mesmo vários dias.

Ao mover o Xylem Data Lake para uma plataforma baseada na AWS que utiliza o AWS Batch, o AWS Step Functions e o AWS Lambda, a equipe de dados da Xylem conseguiu expandir significativamente seus recursos de análise de dados. A Xylem alimenta cada arquivo de entrada em uma máquina de estado do Step Functions, que então valida o arquivo, rastreia os metadados e, finalmente, inicia e monitora um trabalho do AWS Batch que processa os dados. Cada máquina de estado funciona de forma independente e em paralelo. Os trabalhos do AWS Batch alocam contêineres automaticamente, e a Xylem agora pode analisar milhares de arquivos ao mesmo tempo, sem precisar se preocupar com trabalhos competindo por recursos. Como resultado, a Xylem reduziu o tempo de processamento de dados de 20 horas para apenas 2 horas, independentemente do tamanho do conjunto de dados.

“Usar o AWS Step Functions como parte do Xylem Data Lake transformou nosso ritmo de inovação. Agora podemos desenvolver projetos de análise interna e externa com menos transferências para outros engenheiros, menos interrupções com o DevOps e mais tecnologias do que imaginávamos ser possível.”

Mitchell Hensley, vice-presidente de estratégia de software da Xylem