ENGIE desenvolve o Common Data Hub na AWS e acelera a transição para a economia zero carbono

Os clientes da ENGIE são muito diversificados, incluindo desde clientes varejistas até grandes empresas e cidades, entre outros. A empresa oferece cada vez mais suporte à capacidade dos clientes de gerar a própria eletricidade com ativos descentralizados, inclusive painéis solares e usinas eólicas. À medida que caminhava para a descentralização, a ENGIE começou a perceber que seus sistemas, aplicações e produtos de software de planejamento de recursos empresariais de processamento de dados precisavam ser atualizados. A empresa precisava de um método uniforme de coletar e analisar dados para ajudar os clientes a gerenciar suas cadeias de valor. “Precisamos usar dados para medir o consumo e prever os volumes de produção de eletricidade que dependem da previsão meteorológica, por exemplo”, diz Gregory Wolowiec, líder da equipe de tecnologia que orienta o desenvolvimento e a entrega de programas de dados da ENGIE. Wolowiec também menciona problemas de isolamento e inconsistências entre os países: “Todas as soluções eram diferentes de um país para o outro; não havia compartilhamento entre as diferentes partes da organização. Para nós, tornou-se muito importante sermos capazes de coletar e compartilhar os dados de maneira simplificada em qualquer lugar do planeta”.

Yves Le Gélard, diretor digital da ENGIE, explica o propósito da empresa: “Para a ENGIE, a sustentabilidade é o alfa e o ômega de tudo. Esta é a nossa raison d’être. Ajudamos grandes corporações e as maiores cidades do planeta em seus esforços de transição para o carbono zero o mais rápido possível, porque esta é a principal questão da humanidade hoje”.

O diretor de dados do grupo ENGIE, Gérard Guinamand, acrescenta: “No que diz respeito aos dados, nossa estratégia está diretamente ligada a nosso propósito. Se quisermos direcionar e fornecer uma transição para carbono zero, precisaremos primeiro reunir dados sobre o que está acontecendo. Isso inclui dados sobre a quantidade gerada de dióxido de carbono, onde é gerado e como tudo isso se relaciona com temas ambientais, como o clima, a temperatura e o tamanho da população. Todos esses dados precisam ser armazenados, coletados e computados para que você possa mensurar o progresso e seguir um roteiro.”

Qualquer que fosse o método adotado pela ENGIE precisava ter um alto nível de segurança e estar em conformidade com as regulamentações em todo o mundo. Enquanto preparava uma prova de conceito, a empresa explorou uma variedade de soluções com provedores em nuvem locais e globais. “Nós nos convencemos de que a AWS era uma boa solução por diversos motivos, incluindo o modelo de custo e, principalmente, em termos de armazenamento de dados”, afirma Wolowiec. Assim, a ENGIE começou a empreender seu grande projeto de dados na AWS em meados de 2018.

Wolowiec descreve o Common Data Hub como “o data lake colaborativo e distribuído que permite à ENGIE armazenar e compartilhar dados, além de criar valor com eles.” Ele foi desenvolvido utilizando o Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor. A solução também usa o Amazon Redshift, um serviço de data warehouse em escala de petabytes totalmente gerenciado na nuvem que é capaz de consultar dados semiestruturados no data lake do Amazon S3, demonstrando a abordagem lake house para data warehousing.

Como a solução usa o Amazon Redshift, os clientes podem implantar data warehouses com segurança em seus ambientes Common Data Hub e fazer uso de análises. Com o gerenciamento dos clusters do Amazon Redshift no Common Data Hub, os administradores das unidades de negócios da empresa podem ser adicionados aos projetos do Common Data Hub e acessar com facilidade os conjuntos de dados no data lake do Amazon S3, além de desenvolver insights valiosos com o catálogo completo de conjuntos de dados do Common Data Hub. O Common Data Hub usa o Amazon Redshift para dois tipos diferentes de acesso aos dados. Ele usa o Amazon Redshift Spectrum para consultas diretas aos buckets do S3 do Common Data Hub e usa o Amazon Redshift como um data warehouse provisionado com seu próprio armazenamento interno. “Contamos com o recurso Amazon Redshift Spectrum para estabelecer a relação entre o data lake do Amazon S3, gerenciado pelo Common Data Hub, e o data warehouse do Amazon Redshift”, afirma Wolowiec.

Outros produtos da AWS envolvidos no Common Data Hub incluem o Amazon Kinesis Data Streams (Amazon KDS), um serviço de transmissão de dados em tempo real altamente escalável e durável. O uso do Amazon KDS possibilita que a ENGIE colete, processe e analise facilmente dados transmitidos de dispositivos de Internet das Coisas em tempo real, o que significa que a empresa pode coletar rapidamente as informações que utiliza para desenvolver insights. O AWS Glue, um serviço de extração, carregamento e transformação (ETL) totalmente gerenciado para um repositório de metadados, auxilia ainda mais na transferência e limpeza dos dados. O Amazon Athena, um serviço de consultas interativas que facilita a análise de dados no Amazon S3 usando SQL padrão, possibilita que as unidades de negócio da ENGIE visualizem dados. E para obter mais insights dos dados, a ENGIE conta com o Amazon SageMaker, um serviço totalmente gerenciado que oferece a todos os desenvolvedores e cientistas de dados a capacidade de desenvolver, treinar e implantar modelos de machine learning rapidamente.

Para facilitar e simplificar a adoção do Common Data Hub em todo o mundo, a ENGIE forneceu modelos e documentação de aceleração para ajudar os administradores de suas unidades de negócios a visualizar o valor dos dados coletados e acessar os dados no data lake distribuído. O Common Data Hub também possibilita altos níveis de governança e segurança de dados. Os produtores de dados podem compartilhar e controlar o acesso a conjuntos de dados e fluxos de trabalho, enquanto os consumidores podem solicitar acesso e consumir dados.

A integração dos produtos da AWS proporcionou uma solução segura, ágil e escalável para a ENGIE. Agora, as diferentes unidades de negócios podem usar a estrutura da maneira que precisarem, sem abrir mão de nada que seja essencial para as operações. A facilidade de uso e a automação permitem às unidades de negócios da ENGIE aumentar a produtividade com rapidez após desenvolver a solução Common Data Hub na AWS. Também há impactos ambientais positivos: a ENGIE usa dados para obter o máximo de energia possível das usinas eólicas, ajudando a aumentar a eficácia dessa importante fonte de energia renovável. “Fornecemos as ferramentas adequadas para que as entidades possam se concentrar na criação de valor em vez de dedicar tempo para tratar de questões técnicas”, afirma Wolowiec. Até o momento, a ENGIE coletou 200 TB de dados configurados no Common Data Hub.

O Common Data Hub forma o alicerce da estratégia orientada por dados da ENGIE ao possibilitar a comunidade de dados entre tecnologia da informação e usuários de negócios, além de acelerar o aumento da alfabetização em dados em todos os níveis da ENGIE e ajudar a otimizar processos internos ou criar novos serviços orientados por dados. Todas as unidades de negócios agora estão capacitadas com uma solução exclusiva para desenvolver aplicações orientadas por dados com mais rapidez. Atualmente, a ENGIE tem mais de mil projetos no Common Data Hub em andamento no mundo. O Common Data Hub oferece uma solução realmente coesa, pois elimina silos e permite que cada departamento se beneficie de acesso igual ao framework comum.

Com seu novo método de coleta e compartilhamento de dados, a ENGIE enxerga uma oportunidade de mudar a forma como faz negócios, e a empresa está desenvolvendo um hub de dados vertical para fazer exatamente isso. A ENGIE historicamente tem adotado uma abordagem ascendente, com suas unidades de negócios prestando serviços para clientes em suas respectivas regiões. Porém, como muitos de seus serviços de energia são os mesmos, isso resulta em uma duplicação desnecessária de trabalho. “Nossa atividade de geração de eletricidade e, principalmente, nossa geração de energia renovável são basicamente idênticas em todas as regiões”, diz Wolowiec. “Podemos usar o Common Data Hub para criar casos de uso comuns em todo o mundo. A próxima etapa é apresentar cada vez mais abordagens descendentes, sobretudo para parques eólicos.”

A ENGIE descobriu um valor significativo ao usar os produtos da AWS para desenvolver o Common Data Hub, permitindo que suas unidades de negócios globais coletem, compartilhem e analisem os dados de formas mais produtivas. As unidades de negócios da ENGIE ainda mantêm a autonomia, mas agora elas podem se beneficiar dos pontos fortes dos dados centralizados, obtendo insights importantes de casos de uso semelhantes, à medida que descobrem formas mais modernas e eficientes de energizar o mundo.