Histórias de clientes/Software e Internet/Estados Unidos
A Autodesk cria análises de big data confiáveis e econômicas usando o Amazon EMR
Saiba como a Autodesk, empresa de software de design, engenharia e entretenimento 3D, migrou para o Amazon EMR e melhorou a performance e a confiabilidade, além de reduzir custos.
Obteve zero tempo de inatividade do serviço
depois de migrar para o Amazon EMR
99,8% de disponibilidade
para workloads de código aberto
30% de redução
de custos
Escalonamento automático implementado
para apoiar a trajetória de crescimento
25% de redução
das horas gastas na solução de problemas
Visão geral
Para a Autodesk, os dados são a força motriz por trás das decisões de negócios e das estratégias de crescimento. Dessa forma, a confiabilidade da estrutura de big data é crucial para o sucesso. Ao enfrentar longas interrupções e problemas de eficiência com a solução de big data de terceiros, a Autodesk buscou um substituto mais confiável, que pudesse ser escalado, para oferecer suporte ao seu crescimento contínuo.
Ao optar pela Amazon Web Services (AWS), a Autodesk migrou com sucesso seu complexo ambiente de dados para o Amazon EMR, uma solução de big data em nuvem líder do setor para processamento de dados em escala de petabytes, análise interativa e machine learning (ML) usando estruturas de código aberto. Agora, ela pode executar workloads de big data de alta performance em grande escala com performance rápida e sem interrupções ou períodos de inatividade prolongados.
Oportunidade | Uso do Amazon EMR para melhorar o processamento de big data na Autodesk
Fundada em 1982, a Autodesk produz software de design 3D, engenharia e entretenimento usado por mais de cem milhões de clientes em todo o mundo. Seu software AutoCAD ajuda arquitetos, engenheiros e profissionais da construção a criar desenhos digitais precisos. Como uma empresa orientada por dados, a Autodesk usa análises e insights para oferecer melhores soluções e recursos aos clientes. No entanto, sua solução de big data terceirizada não conseguia acompanhar seu crescimento.
“Nossa solução anterior tinha muitos problemas de confiabilidade”, relata Nick Wilson, gerente sênior de engenharia da Autodesk. “Os dados são uma unidade fundamental dos negócios da Autodesk. Precisávamos de um novo fornecedor que pudesse oferecer a confiabilidade necessária e escalar com nossa trajetória de crescimento.”
Depois de avaliar diferentes soluções em relação à confiabilidade e à performance, a Autodesk optou por migrar para o Amazon EMR. “A Autodesk é uma loja da AWS e temos um ótimo histórico de uso dos serviços da AWS”, diz Wilson. “A AWS também ofereceu muito mais ofertas de serviços pelo custo que estávamos pagando. Pudemos identificar um caminho para migrar todas as workloads de nosso provedor terceirizado para o Amazon EMR e outros serviços da AWS.”
Ao migrar para o Amazon EMR, reduzimos os custos em 30%. E conseguimos essa redução ao mesmo tempo que melhoramos significativamente nossa postura de segurança.”
Anitha Matta
Gerente de Engenharia de Infraestrutura de Plataformas da Autodesk
Solução | Migração de petabytes de dados com fortalecimento da segurança e da confiabilidade com o Programa de Aceleração de Migração da AWS
Migrar as workloads de big data da Autodesk para o Amazon EMR não seria uma tarefa simples. Esse esforço envolveria a migração de workloads de 30 equipes diferentes, cada uma delas com linguagens de codificação diferentes e executando diferentes tipos de consulta. Além disso, todas as workloads críticas para os negócios da Autodesk funcionavam na solução de terceiros, e a empresa precisava evitar interrupções desnecessárias durante o processo. Para facilitar essa migração complexa, a Autodesk participou do Programa de Aceleração da Migração da AWS (AWS MAP), que ajuda a acelerar as jornadas de migração e modernização para a nuvem com uma metodologia baseada em resultados. O AWS MAP não apenas ofereceu suporte à Autodesk nos aspectos técnicos da migração, mas também forneceu créditos para compensar alguns dos custos.
“Em qualquer migração para um novo serviço, a computação não será otimizada até que você tenha alguma experiência com ela”, diz Wilson. “Com os preços do AWS MAP, minimizamos o impacto da migração em nossos resultados financeiros e fizemos uma transição perfeita.”
A Autodesk executa no Amazon EMR o Apache Spark, um mecanismo de análise unificado de código aberto, para servir como seu principal mecanismo de computação. Os clusters do Spark oferecem suporte a todos os pipelines de processamento e extração, carregamento e transformação de dados. Para lidar com sua carga de dados, a Autodesk anexa volumes alimentados pelo Amazon Elastic Block Store (Amazon EBS), um serviço de armazenamento em blocos escalável e de alta performance, às instâncias do Spark. Esses serviços escalam perfeitamente para processar os dados da Autodesk, que totalizam 1 PB e crescem a cada mês. Para potencializar os painéis e oferecer análises, a Autodesk executa o Presto, um mecanismo de consulta SQL distribuído de código aberto, no Amazon EMR.
“O Presto no Amazon EMR é uma parte fundamental do fluxo de desenvolvedores”, diz Wilson. “Ele ajuda nossa equipe a interagir e aprender com os dados e fornece informações gerais de negócios para ajudar a desenvolver novos produtos.”
Ao adotar o Amazon EMR, a Autodesk melhorou consideravelmente a confiabilidade do serviço de big data. Para workloads que dependem do Apache Spark e do Presto, a empresa alcançou 99,8% de disponibilidade e não sofreu nenhuma interrupção significativa ou tempo de inatividade do serviço. A Autodesk também reduziu as horas gastas na solução de problemas em 25%.
A equipe de desenvolvimento aprecia muito essa confiabilidade consistente e, agora, pode concentrar os recursos em outras áreas da empresa. “Eu costumava não querer ver as comunicações da empresa aos domingos. Eu via que os processos essenciais para os negócios eram interrompidos porque nossa solução de terceiros estava quebrada”, diz Wilson. “Agora, nossos pipelines estão funcionando de forma estável, os clusters estão funcionando conforme o esperado e estamos cumprindo nossos acordos de serviço. Atualmente, temos um sistema muito mais estável em execução no Amazon EMR do que tínhamos antes da migração.”
Diagrama de arquitetura
Figura 1. Envio e migração de trabalhos
Figura 1. Envio e migração de trabalhos
Clique para ampliar para a visualização em tela cheia.
Figura 2. Arquitetura AWS da Autodesk para processamento de big data
Figura 2. Arquitetura AWS da Autodesk para processamento de big data
Clique para ampliar para a visualização em tela cheia.
Resultado | Melhora no custo, na performance e na confiabilidade do processamento de big data na AWS
Ao migrar o ambiente de big data para o Amazon EMR, a Autodesk melhorou a confiabilidade, a performance e a eficiência de custos do serviço. “Ao migrar para o Amazon EMR, reduzimos os custos em 30%”, afirma Anitha Matta, gerente de Engenharia de Infraestrutura de Plataforma da Autodesk. “E conseguimos essa redução de custos ao mesmo tempo que melhoramos significativamente a postura de segurança.”
Depois de iniciar a migração, a Autodesk alcançou a paridade de custos em seis meses. Como os clusters estão claramente isolados no Amazon EMR, é possível atribuir custos a workloads específicas quase em tempo real. Usando essas informações, as equipes podem identificar o retorno sobre o investimento dos projetos e tomar decisões estratégicas para melhorar a eficiência de custos. A Autodesk também pode processar e analisar conjuntos maiores de dados quase pelo mesmo preço da solução de terceiros, ao mesmo tempo que melhora a performance e a confiabilidade.
A próxima etapa para a empresa é atualizar os clusters do Apache Spark e adotar uma arquitetura em contêineres usando o Amazon Elastic Kubernetes Service (Amazon EKS), um serviço gerenciado para executar o Kubernetes na Nuvem AWS e em datacenters on-premises. A Autodesk também usa serviços de ML, como o Amazon SageMaker Studio, um ambiente de desenvolvimento totalmente integrado, para incorporar recursos avançados em toda a organização.
“Desde 2013, grande parte da jornada da Autodesk foi migrar para a nuvem. Por meio dessa migração, queríamos facilitar o acesso a dados oportunos, integrados e controlados para ajudar a impulsionar nosso crescimento”, diz Wilson. “Usando a AWS, alcançamos essas metas. Ao tornar os dados acessíveis centralmente na AWS, eles podem ser usados por equipes de toda a Autodesk, incluindo produtos, negócios, marketing, vendas e finanças. Os serviços da AWS estão potencializando funções críticas na empresa.”
Sobre a Autodesk
A Autodesk fornece produtos e serviços de software em vários setores para viabilizar a criação de inovações em design. Seu software AutoCAD ajuda arquitetos, engenheiros e profissionais da construção a criar desenhos precisos digitalmente.
Serviços da AWS usados
Amazon EMR
O Amazon EMR é a solução de big data em nuvem líder do setor para processamento de dados em escala de petabytes, análise interativa e machine learning que usa estruturas de código aberto, como Apache Spark, Apache Hive e Presto.
Amazon EBS
O Amazon Elastic Block Store (Amazon EBS) é um serviço de armazenamento em blocos fácil de usar, escalável e de alta performance projetado para o Amazon Elastic Compute Cloud (Amazon EC2).
Programa de Aceleração da Migração (MAP) da AWS
O Programa de Aceleração da Migração (MAP) da AWS é um programa abrangente e comprovado de migração para a nuvem desenvolvido com base na experiência da AWS em migrar milhares de clientes corporativos para a nuvem.
Mais histórias da Autodesk
Comece a usar
Organizações de todos os portes, em todos os setores, estão transformando seus negócios e cumprindo suas missões todos os dias usando a AWS. Entre em contato com nossos especialistas e comece sua própria jornada para a AWS hoje mesmo.