ENGIE crea el Common Data Hub en AWS y acelera la transición emisión cero de carbono

Hay una gran variedad de clientes de ENGIE, desde ciudades hasta clientes minoristas, pasando por grandes empresas y más. La empresa apoya cada vez más la capacidad de los clientes para generar su propia electricidad con activos descentralizados, como paneles solares y parques eólicos. A medida que ENGIE avanzaba hacia la descentralización, descubrió que necesitaba actualizar su software de sistema de planificación de recursos empresariales, aplicaciones y productos de procesamiento de datos. La empresa necesitaba un método uniforme de recopilación y análisis de datos para ayudar a los clientes a administrar sus cadenas de valor. “Necesitamos utilizar los datos para medir el consumo y prever los volúmenes de producción de electricidad en función del pronóstico meteorológico, por ejemplo”, explica Gregory Wolowiec, jefe del equipo tecnológico que dirige el desarrollo y la ejecución de los programas de datos de ENGIE. Wolowiec también menciona problemas de aislamiento e incoherencias en los distintos países: “Todas las soluciones eran diferentes de un país a otro; no había intercambio de información entre las distintas partes de la organización. Para nosotros era muy importante poder recopilar y compartir los datos de forma ágil en cualquier lugar del planeta”.

Yves Le Gélard, director digital de ENGIE, nos explica el propósito de la empresa: “La sostenibilidad para ENGIE es el alfa y el omega de todo. Es nuestra razón de ser. Ayudamos a las grandes empresas y a las mayores ciudades del planeta en sus intentos de transición hacia las cero emisiones de carbono lo antes posible, porque en realidad es la cuestión número uno para la humanidad hoy en día”.

El director de datos del grupo ENGIE, Gérard Guinamand, agregó: “Nuestra estrategia en materia de datos está directamente relacionada con nuestro propósito. Si se quiere impulsar y llevar a cabo una transición hacia las cero emisiones de carbono, primero hay que recopilar datos sobre lo que está sucediendo. Eso incluye datos sobre el volumen de dióxido de carbono que se quema, dónde se quema y cómo se correlaciona todo con aspectos medioambientales como el clima, la temperatura y el número de personas. Todos estos datos tienen que ser almacenados, reunidos y procesados para poder medir el progreso y seguir una hoja de ruta”.

Cualquiera que fuera el método que adoptara ENGIE, debía tener un alto nivel de seguridad y cumplir la normativa en todo el mundo. A medida que la empresa elaboraba una prueba de concepto, exploraba distintas soluciones con proveedores de servicios en la nube locales y mundiales. “Estábamos convencidos de que AWS era una solución adecuada por muchos motivos, entre ellos el modelo de costos, y especialmente en lo que respecta al almacenamiento de datos”, afirma Wolowiec. Así que ENGIE comenzó a emprender su gran proyecto de datos en AWS a mediados de 2018.

Wolowiec describe al Common Data Hub como “el lago de datos colaborativo y distribuido que permite a ENGIE almacenar datos, compartirlos y utilizarlos para generar valor”. Se creó con Amazon Simple Storage Service (Amazon S3), un servicio de almacenamiento de objetos que ofrece escalabilidad, disponibilidad de datos, seguridad y rendimiento líderes en el sector. La solución también utiliza Amazon Redshift, un servicio de almacenamiento de datos a escala de petabytes completamente administrado en la nube que puede consultar datos semiestructurados en el lago de datos de Amazon S3, lo que demuestra el enfoque de lake house para el almacenamiento de datos.

Como la solución utiliza Amazon Redshift, los clientes pueden implementar un almacenamiento de datos de forma segura en sus entornos Common Data Hub y utilizar la analítica. Los administradores de las unidades de negocio de la empresa, al administrar los clústeres de Amazon Redshift en el Common Data Hub, pueden agregarse a los proyectos del Common Data Hub y acceder fácilmente a los conjuntos de datos del lago de datos de Amazon S3, así como crear información valiosa a partir del extenso catálogo de conjuntos de datos. El Common Data Hub utiliza Amazon Redshift para dos tipos diferentes de acceso a los datos. Utiliza Amazon Redshift Spectrum para la consulta directa a los buckets de S3 del Common Data Hub y Amazon Redshift como un almacenamiento de datos aprovisionado con su propio almacenamiento interno. “Confiamos en la herramienta Amazon Redshift Spectrum para hacer el enlace entre el lago de datos de Amazon S3 administrado por el Common Data Hub y el almacenamiento de datos de Amazon Redshift”, afirma Wolowiec.

Otros servicios de AWS integrados en el Common Data Hub incluyen Amazon Kinesis Data Streams (Amazon KDS), un servicio de secuencia de datos en tiempo real escalable de forma masiva y duradera. El uso de Amazon KDS permite a ENGIE recopilar, procesar y analizar fácilmente las secuencias de datos de los dispositivos de internet de las cosas en tiempo real, lo que significa que ENGIE puede reunir rápidamente la información que utiliza para desarrollar información. AWS Glue, un servicio de extracción, carga y transformación (ETL) completamente administrado para un repositorio de metadatos, también ayuda a transferir y limpiar los datos. Amazon Athena, un servicio de consultas interactivo que facilita el análisis de datos en Amazon S3 con SQL estándar, permite a las unidades de negocio de ENGIE visualizar los datos. Y para obtener más información de los datos, ENGIE emplea Amazon SageMaker, un servicio completamente administrado que proporciona a cada desarrollador y científico de datos la capacidad de crear, entrenar e implementar modelos de machine learning con rapidez.

Para facilitar la adopción fluida y sencilla del Common Data Hub en todo el mundo, ENGIE proporcionó plantillas de aceleración y documentación para ayudar a los administradores de las unidades de negocio a ver el valor de los datos que recopilan y acceder a los datos en el lago de datos distribuido. El Common Data Hub también permite un elevado nivel de gobernanza y seguridad de los datos. Los productores de datos pueden compartir y controlar el acceso a los conjuntos de datos y flujos de trabajo, y los consumidores pueden solicitar acceso a los datos y consumirlos.

La integración de los servicios de AWS proporcionó una solución segura, ágil y escalable para ENGIE. Ahora, las distintas unidades de negocio pueden utilizar el marco de trabajo de la forma que lo necesiten sin renunciar a nada de suma importancia para las operaciones. Con la facilidad de uso y la automatización, las unidades de negocio de ENGIE pueden aumentar la productividad rápidamente tras crear la solución Common Data Hub en AWS. También hay repercusiones medioambientales positivas: ENGIE utiliza los datos para obtener la máxima cantidad de energía posible de los parques eólicos, lo que contribuye a aumentar la eficacia de esta importante fuente de energía renovable. “Proporcionamos las herramientas adecuadas para que las entidades puedan centrarse en la creación de valor en lugar de dedicar el tiempo a las cuestiones técnicas”, señala Wolowiec. Hasta ahora, ENGIE lleva recopilados 200 TB de datos establecidos en el Common Data Hub.

Con el Common Data Hub, que constituye la red troncal de la estrategia controlada por datos de ENGIE, la comunidad de datos entre la tecnología de la información y los usuarios de la empresa acelera el incremento de la cultura de los datos en todos los niveles de ENGIE y contribuye a optimizar los procesos internos o a crear nuevos servicios controlados por datos. Todas las unidades de negocio disponen ahora de una solución única para crear más rápidamente aplicaciones controladas por datos. En la actualidad, ENGIE cuenta con más de 1000 proyectos establecidos en Common Data Hub en todo el mundo. El Common Data Hub ofrece una solución de cohesión real, ya que elimina los silos y permite que todos los departamentos se beneficien de un acceso equitativo al marco común.

Con su nuevo método de recopilación e intercambio de datos, ENGIE ve la oportunidad de cambiar su forma de trabajar, y la empresa se encuentra en proceso de crear un centro de datos vertical para conseguirlo. Tradicionalmente, ENGIE ha tenido un planteamiento ascendente (de abajo arriba), en el que sus unidades de negocio prestan servicios a los clientes en sus respectivas regiones. No obstante, dado que muchos de sus servicios energéticos son los mismos, se produce una duplicación innecesaria del trabajo. “Nuestra actividad de generación de electricidad y, sobre todo, de energía renovable, es básicamente la misma en todas partes”, afirma Wolowiec. “Podemos utilizar Common Data Hub para crear casos de uso comunes en todo el mundo. El siguiente paso para nosotros es presentar cada vez más enfoques descendentes, especialmente para los parques eólicos”.

ENGIE descubrió un valor significativo al utilizar los servicios de AWS para crear su Common Data Hub, lo que permite a sus unidades de negocio internacionales recopilar, compartir y analizar datos de un modo más productivo. Las unidades de negocio de ENGIE siguen manteniendo su autonomía, pero ahora pueden beneficiarse de los puntos fuertes de los datos centralizados, obteniendo información importante de casos de uso similares mientras descubren formas más nuevas y eficientes de abastecer de energía al mundo.