Casos de uso do AWS Step Functions

Neste exemplo de sistema bancário simples, uma nova conta bancária é criada após a validação do nome e endereço do cliente. O fluxo de trabalho começa com duas funções do Lambda, CheckName e CheckAddress, sendo executadas em paralelo como estados de tarefa. Quando ambas estiverem concluídas, o fluxo de trabalho executará a função do Lambda ApproveApplication. Você pode definir cláusulas de repetição e captura para tratar erros de estados de tarefas. Você pode usar erros de sistema predefinidos ou tratar erros personalizados gerados por essas funções do Lambda em seu fluxo de trabalho. Como o código do fluxo de trabalho assume o tratamento de erros, as funções do Lambda podem se concentrar na lógica de negócios e ter menos código. Fluxos de trabalho Express seriam mais adequados para este exemplo, pois as funções do Lambda executam tarefas que juntas levam menos de cinco minutos, sem dependências externas. 

Às vezes, você pode precisar de uma pessoa para revisar e aprovar ou rejeitar uma etapa do processo de negócios para que o fluxo de trabalho possa passar para a próxima etapa. Recomendamos o uso de fluxos de trabalho Standard quando seu fluxo de trabalho precisar aguardar uma pessoa ou processos nos quais um sistema externo poderá levar mais de cinco minutos para responder. Aqui, estendemos o novo processo de abertura de conta com uma etapa de aprovação de notificação intermediária. O fluxo de trabalho começa com os estados de tarefa CheckName e CheckAddress sendo executados em paralelo. O próximo estado ReviewRequired é um estado de escolha que tem dois caminhos possíveis, enviar um e-mail de notificação do SNS ao aprovador na tarefa NotifyApprover ou passar para o estado ApproveApplication. O estado da tarefa NotifyApprover envia um e-mail ao aprovador e aguarda uma resposta antes de passar para o próximo estado de escolha “Aprovado”. Com base na decisão do aprovador, a aplicação de conta é Aprovada ou Rejeitada por meio das funções do Lambda.

Neste exemplo, um evento em um barramento do Eventbridge personalizado atende a uma regra e invoca um fluxo de trabalho do Step Functions como destino. Suponha que você tenha uma aplicação de atendimento ao cliente que precise tratar de assinaturas expiradas de clientes. Uma regra do EventBridge atende a eventos expirados de assinatura e invoca um fluxo de trabalho de destino em resposta. O fluxo de trabalho de assinatura expirada desabilitará todos os recursos que a assinatura expirada possui sem excluí-los e enviará um e-mail ao cliente para notificá-lo sobre a assinatura expirada. Essas duas ações podem ser executadas em paralelo usando as funções do Lambda. Ao final do fluxo de trabalho, um novo evento é enviado ao barramento de eventos por meio de uma função do Lambda indicando que a expiração da assinatura foi processada. Para este exemplo, recomendamos o uso de fluxos de trabalho Express. À medida que sua empresa cresce e você começa a colocar mais eventos no barramento de eventos, a capacidade de invocar 100 mil execuções de fluxo de trabalho por segundo com fluxos de trabalho Express é muito grande. Veja o exemplo em ação com este repositório do Github.

Você pode usar o AWS Step Functions para criar um fluxo de trabalho automatizado de resposta a incidentes de segurança que inclua uma etapa de aprovação manual. Neste exemplo, um fluxo de trabalho do Step Functions é acionado quando uma política do IAM é criada. O fluxo de trabalho compara a ação de política com uma lista personalizável de ações restritas. O fluxo de trabalho reverte a política temporariamente, notifica um administrador e espera que ele aprove ou negue. Você pode estender esse fluxo de trabalho para corrigir automaticamente, como aplicar ações alternativas ou restringir ações a ARNs específicos. Veja este exemplo em ação aqui.

Você pode reduzir a sobrecarga operacional de manter sua infraestrutura de Nuvem AWS automatizando como você responde a eventos operacionais para seus recursos da AWS. O Amazon EventBridge fornece um fluxo quase em tempo real de eventos do sistema que descrevem a maioria das alterações e notificações para seus recursos da AWS. Com base nesse fluxo, você pode criar regras para rotear eventos específicos para o AWS Step Functions, o AWS Lambda e outros serviços da AWS para processamento posterior e ações automatizadas. Neste exemplo, um fluxo de trabalho do AWS Step Functions é acionado com base em um evento proveniente do AWS Health. A AWS monitora proativamente sites populares de repositório de código para chaves de acesso do IAM que foram expostas publicamente. Vamos supor que uma chave de acesso do IAM tenha sido exposta no GitHub. O AWS Health gera um evento AWS_RISK_CREDENTIALS_EXPOSED na conta da AWS relacionada à chave exposta. Uma regra configurada do Amazon Eventbridge detecta esse evento e invoca um fluxo de trabalho do Step Functions. Com a ajuda das funções do AWS Lambda, o fluxo de trabalho exclui a chave de acesso do IAM exposta, resume a atividade recente da API para a chave exposta e envia a mensagem de resumo a um tópico do Amazon SNS para notificar os assinantes, nessa ordem. Veja este exemplo em ação aqui.

Você pode usar o Amazon S3 para hospedar um site estático e o Amazon CloudFront para distribuir o conteúdo em todo o mundo. Como proprietário de um site, você pode precisar de dois buckets do S3 para fazer upload do conteúdo do site: um para preparação e teste e outro para produção. Você deseja atualizar o bucket de produção com todas as alterações do bucket de preparação, sem precisar criar um novo bucket do zero toda vez que atualizar seu site. Neste exemplo, o fluxo de trabalho do Step Functions executa tarefas em dois loops paralelos e independentes: um loop copia todos os objetos do bucket de origem para o bucket de destino, mas deixa de fora os objetos já presentes no bucket de destino. O segundo loop exclui todos os objetos no bucket de destino não encontrados no bucket de origem. Um conjunto de funções do AWS Lambda executa as etapas individuais: validar a entrada, obter as listas de objetos dos buckets de origem e destino e copiar ou excluir objetos em lotes. Veja este exemplo junto com seu respectivo código em detalhes aqui. Saiba mais sobre como criar ramificações paralelas de execução em sua máquina de estado aqui.

Neste exemplo, a Freebird criou um pipeline de processamento de dados para processar dados de webhook de várias origens em tempo real e executar funções do Lambda que modificam os dados. Nesse caso de uso, os dados de webhook de várias aplicações de terceiros são enviados por meio do Amazon API Gateway para um fluxo de dados do Amazon Kinesis. Uma função do AWS Lambda extrai dados desse fluxo do Kinesis e aciona um fluxo de trabalho Express. Esse fluxo de trabalho passa por uma série de etapas para validar, processar e normalizar esses dados. No final, uma função do Lambda atualiza o tópico do SNS que aciona mensagens para funções de downstream do Lambda para as próximas etapas por meio de uma fila do SQS. Você pode ter até 100 mil invocações desse fluxo de trabalho por segundo para dimensionar o pipeline de processamento de dados.

Você pode usar o Step Functions para orquestrar todas as etapas de um processo de ETL, com diferentes fontes e destinos de dados. 

Neste exemplo, o fluxo de trabalho de ETL do Step Functions atualiza o Amazon Redshift sempre que novos dados estão disponíveis no bucket do S3 de origem. A máquina de estado do Step Functions inicia um trabalho do AWS Batch e monitora seu status quanto à conclusão ou aos erros. O trabalho do AWS Batch busca o script .sql do fluxo de trabalho de ETL na origem, ou seja, o Amazon S3, e atualiza o destino, ou seja, o Amazon Redshift por meio de um contêiner PL/SQL. O arquivo .sql contém o código SQL para cada etapa da transformação de dados. Você pode acionar o fluxo de trabalho de ETL com um evento do EventBridge ou manualmente por meio da AWS CLI ou usando AWS SDKs ou até mesmo um script de automação personalizado. Você pode alertar um administrador por meio do SNS que aciona um e-mail sobre falhas em qualquer etapa do fluxo de trabalho ou no final da execução do fluxo de trabalho. Este fluxo de trabalho de ETL é um exemplo em que você pode usar fluxos de trabalho Standard. Veja este exemplo em detalhes aqui. Você pode aprender mais sobre como enviar um trabalho do AWS Batch por meio de um exemplo de projeto aqui.

As operações Extrair, Carregar e Transformar (ETL) transformam dados brutos em conjuntos de dados úteis, transformando dados em insights acionáveis. 

Você pode usar o Step Functions para executar vários trabalhos de ETL em paralelo, em que seus conjuntos de dados de origem podem estar disponíveis em momentos diferentes, e cada trabalho de ETL é acionado somente quando seu conjunto de dados correspondente fica disponível. Esses trabalhos de ETL podem ser gerenciados por diferentes serviços da AWS, como o AWS Glue, Amazon EMR, Amazon Athena ou outros serviços que não sejam da AWS.
Neste exemplo, você tem dois trabalhos de ETL separados em execução no AWS Glue que processam um conjunto de dados de vendas e um conjunto de dados de marketing. Depois que ambos os conjuntos de dados são processados, um terceiro trabalho de ETL combina a saída dos trabalhos de ETL anteriores para produzir um conjunto de dados combinado. O fluxo de trabalho do Step Functions aguarda até que os dados estejam disponíveis no S3. Enquanto o fluxo de trabalho principal é iniciado em uma programação, um manipulador de eventos do EventBridge é configurado em um bucket do Amazon S3, de modo que, quando os arquivos do conjunto de dados de vendas ou marketing forem transferidos por upload para o bucket, a máquina de estado possa acionar o trabalho de ETL “ProcessSales Data” ou “ProcessMarketingData”, dependendo de qual conjunto de dados ficou disponível. 

Veja esta arquitetura em detalhes aqui para configurar a arquitetura de orquestração de ETL em sua conta da AWS. Saiba como gerenciar um trabalho do AWS Batch no Step Functions aqui.

Você pode usar o Step Functions para iterar dezenas de milhões de itens em um conjunto de dados, como uma matriz JSON, uma lista de objetos no S3 ou um arquivo CSV em um bucket do S3. Você pode então processar os dados em paralelo com alta simultaneidade.

Neste exemplo, o fluxo de trabalho do Step Functions usa um estado de mapa no modo Distribuído para processar uma lista de objetos do S3 em um bucket do S3. O Step Functions itera na lista de objetos e, em seguida, inicia milhares de fluxos de trabalho paralelos, executados simultaneamente, para processar os itens. Você pode usar serviços de computação, como o Lambda, para obter ajuda com a escrita de código em qualquer idioma compatível. Você também pode escolher entre mais de 220 serviços da AWS criados com o propósito específico de incluir no fluxo de trabalho do estado de mapa. Após a conclusão das execuções dos fluxos de trabalho filhos, o Step Functions pode exportar os resultados para um bucket do S3, disponibilizando-os para revisão ou processamento posterior.