Autodesk reduz o custo de processamento de big data em 90% usando a AWS

A Autodesk é uma fornecedora líder de software em design 3D para os setores de arquitetura, engenharia, manufatura, mídia e entretenimento. Mais de cem milhões de pessoas em todo o mundo usam os produtos da Autodesk, que incluem software de design assistido por computador e modelagem de informações de construção.

Para acompanhar a expansão da base de usuários, a Autodesk embarcou em uma jornada com a Amazon Web Services (AWS) para renovar o Autodesk Data Platform (ADP), um data warehouse que gera insights e análises detalhados sobre o uso do produto. A Autodesk se baseia nas métricas derivadas pelo ADP, como usuários ativos, adoção de usuários, versões de produtos e muito mais, para melhorar a performance do produto e identificar novas oportunidades para melhor atender aos clientes.

Em agosto de 2019, o ADP recebia dados a uma taxa de cerca de 150 GB por hora, o que era 50 GB a mais do que podia suportar. A Autodesk previu que o volume de dados aumentaria rapidamente devido a dois fatores principais: ela receberia mais assinantes de software e cada nova versão de seus produtos de desktop gerava mais dados de uso do produto.

“Previmos que um grande volume de dados chegaria ao ADP, e precisávamos de melhorias. Precisávamos aprimorar nosso sistema para processar um aumento de dados de entrada de até dez vezes mais do que 150 GB, o maior volume de dados que a plataforma já recebeu. Nossa meta também era alcançar uma melhoria na velocidade de processamento e disponibilidade de dados para uma hora, além de reduzir os custos de processamento em 70%”, diz Deanne Marie Lim, gerente sênior de Engenharia de Dados da Autodesk Ásia-Pacífico.

Antes do projeto de transformação, a Autodesk executava sua plataforma de dados em um sistema baseado em Spark na AWS. A equipe observou o uso do produto de hora em hora, usando o Amazon Elastic Compute Cloud (Amazon EC2) para programar a limpeza e o processamento dos dados brutos a cada hora. No entanto, a plataforma frequentemente falhava quando os volumes de dados aumentavam para mais de 100 GB em uma determinada hora, devido à sua capacidade limitada de aumento da escala horizontal. Como resultado, a equipe precisava executar o trabalho de novo manualmente, gerando custos adicionais e diminuindo a eficiência.

Além disso, depois de limpar os dados brutos, o que levava até quatro horas, a Autodesk precisava executar a extração, a transformação e o carregamento (ETL) para apresentar esses dados em painéis. Como esse processo de limpeza e enriquecimento produz o conjunto de dados mais avançado que alimenta todos os outros ETL e painéis, qualquer falha ou atraso prejudica a capacidade da empresa de identificar oportunidades para melhorias de produtos e outros desenvolvimentos de negócios em tempo hábil.

“Como parte da Rede de Parceiros da AWS (APN), tivemos uma visão em primeira mão sobre como aproveitar soluções sem servidor para melhorar a plataforma de dados. A AWS forneceu ferramentas e tecnologias valiosas necessárias para enfrentar nossos desafios do momento. Em particular, o AWS Lambda e o Amazon DynamoDB nos ajudaram a resolver os problemas que tivemos com o processo de limpeza e enriquecimento de dados. Desenvolvemos uma solução sustentável, escalável e econômica em um ano”, acrescenta Lim.

A AWS ajudou a mudar o ADP de um modelo de processamento em lote para um modelo baseado em eventos executado no AWS Lambda. Isso permite que a Autodesk processe os dados assim que eles chegam, e não em um horário programado, o que resultava em atrasos na análise. O AWS Lambda automatizou as agregações de ETL, e os dados agora são processados quase em tempo real, em comparação com os ciclos horários.

Para permitir alto throughput, baixa latência e processamento quase em tempo real, a Autodesk incorporou o Amazon DynamoDB. Com o Amazon DynamoDB, o ADP processa milhares de solicitações simultâneas em milissegundos. Além disso, o Amazon Simple Storage Service (Amazon S3) foi usado para criar um data lake seguro e alcançar alta disponibilidade de dados.

Agora, o ADP pode processar automaticamente mais de seis bilhões de eventos de dados, equivalentes a 12 TB de dados, diariamente, e os dados ficam disponíveis dois minutos após o recebimento dos dados, contra o prazo anterior de quatro horas.

Lim conclui: “Graças à AWS, superamos nossas metas. Reduzimos os custos em até 90% e aprimoramos a análise para usuários corporativos com processamento de dados quase em tempo real. Agora, podemos fazer melhorias mais significativas na experiência do usuário. Por exemplo, ao rastrear dados em tempo real coletados sobre atividades anteriores de usuários, podemos fornecer aos usuários finais recomendações sobre como aprimorar a maneira como eles usam nosso software. Com a AWS, agora podemos fornecer informações valiosas aos nossos clientes.”

O sucesso dessa implementação estimulou a Autodesk a continuar trabalhando com a AWS para aplicar modelagem baseada em eventos a outros conjuntos de dados de uso de produtos. Pensando no futuro, a Autodesk planeja desenvolver sua plataforma de dados para oferecer suporte à análise preditiva. Isso permitirá que a empresa ofereça uma experiência aprimorada ao usuário, analisando padrões de uso comuns e fornecendo recomendações em tempo real para melhorar a jornada do usuário.