ENGIE entwickelt den Common Data Hub auf AWS und beschleunigt den Übergang zur CO2-Neutralität

ENGIE hat die unterschiedlichsten Kunden – Städte, Privatkunden, große Unternehmen und vieles mehr. Das Unternehmen unterstützt Kunden zunehmend dabei, mit dezentralen Komponenten, einschließlich Solarkollektoren und Windparks, eigenen Strom produzieren zu können. Als ENGIE die Dezentralisierung weiter voranbringen wollte, stellte sich heraus, dass die Systeme, Anwendungen und Produkte in der Enterprise-Resource-Planning-Software für die Datenverarbeitung aktualisiert werden mussten. Das Unternehmen benötigte eine einheitliche Methode für die Erfassung und Analyse von Daten, um Kunden bei der Verwaltung ihrer Wertschöpfungsketten unterstützen zu können. „Wir müssen Daten beispielsweise nutzen, um den Verbrauch zu messen und den Umfang der Stromerzeugung abhängig von der Wettervorhersage vorauskalkulieren zu können“, erklärt der Leiter des Technologieteams, Gregory Wolowiec, der die Entwicklung und Bereitstellung der Datenprogramme von ENGIE lenkt. Wolowiec nennt darüber hinaus Probleme aufgrund von Isolation und Inkonsistenzen zwischen den Ländern. „Die Lösungen unterschieden sich in den verschiedenen Ländern, und auch zwischen den verschiedenen Teilen der Organisation wurde nichts geteilt. Es wurde sehr wichtig für uns, die Daten überall auf der Welt auf schlanke Weise sammeln und teilen zu können.“

Yves Le Gélard, Chief Digital Officer bei ENGIE, erklärt den Unternehmenszweck: „Nachhaltigkeit ist für ENGIE das A und O von allem. Sie ist unsere Rai­son d'Être. Wir helfen Großkonzernen und den größten Städten der Erde bei ihren Bemühungen, so schnell wie möglich auf CO2-Neutralität umzusteigen, denn dies ist heute die Frage Nummer eins für die Menschheit.“

Der Group Chief Data Officer von ENGIE, Gérard Guinamand, fügt hinzu: „Unsere Datenstrategie ist tatsächlich direkt mit unserem Zweck verknüpft. Wenn Sie erfolgreich zur CO2-Neutralität übergehen möchten, müssen Sie zunächst Daten zusammentragen. Daten dazu, wie viel Kohlendioxid Sie verbrennen, wo Sie es verbrennen und wie dies alles mit Umweltthemen wie dem Wetter, der Temperatur und der Bevölkerungszahl in Zusammenhang steht. All diese Daten müssen gespeichert, gesammelt und berechnet werden, damit Sie Fortschritte messen und einer Roadmap folgen können.“

Welche Methode auch immer ENGIE anwendete, sie musste ein hohes Maß an Sicherheit aufweisen und den Vorschriften auf der ganzen Welt entsprechen. Im Rahmen eines Machbarkeitsnachweises erkundete das Unternehmen verschiedene Lösungen von lokalen und globalen Cloud-Anbietern. „Wir waren aus vielen Gründen davon überzeugt, dass AWS eine gute Lösung darstellte. Einer dieser Gründe war das Kostenmodell, insbesondere im Hinblick auf den Datenspeicher“, so Wolowiec. Daher startete ENGIE sein großes Datenprojekt Mitte 2018 auf AWS.

Wolowiec beschreibt den Common Data Hub als „kollaborativen und verteilten Data Lake, der es ENGIE ermöglicht, Daten zu speichern, zu teilen und mit Daten Mehrwert zu generieren.“ Es wurde mit Amazon Simple Storage Service (Amazon S3) erstellt, einem Objektspeicher-Service, der branchenführende Skalierbarkeit, Datenverfügbarkeit, Sicherheit und Leistung bietet. Die Lösung verwendet auch Amazon Redshift , einen vollständig verwalteten Data-Warehouse-Service im Petabyte-Bereich in der Cloud, der semistrukturierte Daten im Amazon-S3-Data-Lake abfragen kann und den Lake-House-Ansatz für Data Warehousing demonstriert.

Da die Lösung Amazon Redshift verwendet, können Kunden Data Warehouses sicher in ihren Common-Data-Hub-Umgebungen bereitstellen und Analytik nutzen. Durch die Verwaltung von Amazon-Redshift-Clustern im Common Data Hub können die Administratoren in den Geschäftseinheiten des Unternehmens Common-Data-Hub-Projekten hinzugefügt werden und somit ganz einfach auf die Datensätze im Amazon-S3-Data-Lake zugreifen und durch den umfangreichen Katalog an Datensätzen im Common Data Hub wertvolle Einblicke gewinnen. Der Common Data Hub nutzt Amazon Redshift für zwei verschiedene Arten des Datenzugriffs. Er nutzt Amazon Redshift Spectrum für direkte Abfragen der S3 Buckets im Common Data Hub und Amazon Redshift als bereitgestelltes Data Warehouse mit eigenem internen Speicher. „Wir verlassen uns auf die Funktion von Amazon Redshift Spectrum, um die Verbindung zwischen dem vom Common Data Hub verwalteten Amazon-S3-Data-Lake und dem Amazon-Redshift-Data-Warehouse herzustellen“, sagt Wolowiec.

Andere AWS-Services, die am Common Data Hub beteiligt sind, umfassen Amazon Kinesis Data Streams (Amazon KDS), einen massiv skalierbaren und dauerhaften Echtzeit-Datenstreaming-Service. Die Verwendung von Amazon KDS ermöglicht es ENGIE, Streaming-Daten von Geräten des Internet der Dinge in Echtzeit einfach zu sammeln, zu verarbeiten und zu analysieren, was bedeutet, dass ENGIE schnell die Informationen sammeln kann, die es verwendet, um Erkenntnisse zu gewinnen. AWS Glue, ein vollständig verwalteter Extract-, Transform, Load (ETL)-Service für ein Metadaten-Repository, hilft außerdem beim Übertragen und Bereinigen der Daten. Amazon Athena, ein interaktiver Abfrageservice, der die Analyse von Daten in Amazon S3 mit Standard-SQL vereinfacht, ermöglicht es ENGIE-Geschäftseinheiten, Daten anzuzeigen. Und um weitere Erkenntnisse aus Daten zu gewinnen, verlässt sich ENGIE auf Amazon SageMaker, einen vollständig verwalteten Service, der jedem Entwickler und Datenwissenschaftler die Möglichkeit bietet, Machine-Learning-Modelle schnell zu erstellen, zu trainieren und bereitzustellen.

Um eine reibungslose und einfache Einführung des Common Data Hub auf der ganzen Welt zu ermöglichen, hat ENGIE Beschleunigungsvorlagen und Dokumente bereitgestellt, um den Administratoren der Geschäftsbereiche zu helfen, den Wert der gesammelten Daten zu erkennen und auf die Daten im verteilten Data Lake zuzugreifen. Zudem ermöglicht der Common Data Hub ein hohes Maß an Data Governance und Sicherheit. Datenproduzenten können den Zugriff auf Datensätze und Workflows freigeben und steuern, und Verbraucher können Zugriff auf Daten anfordern und diese nutzen.

Die Integration von AWS-Services bot ENGIE eine sichere, agile und skalierbare Lösung. Verschiedene Geschäftseinheiten können das Framework jetzt nach Bedarf nutzen und müssen auf nichts verzichten, was für ihre Abläufe wichtig ist. Dank der Benutzerfreundlichkeit und der Automatisierung konnten die Geschäftseinheiten von ENGIE ihre Produktivität schon bald nach der Entwicklung des Common Data Hub auf AWS steigern. Es gibt auch positive Umweltauswirkungen: ENGIE nutzt Daten, um die maximal mögliche Energiemenge von Windparks zu erhalten und trägt damit zur Steigerung der Effizienz dieser wichtigen erneuerbaren Energiequelle bei. „Wir stellen die richtigen Tools bereit, sodass sich die Einheiten ganz auf die Wertschöpfung konzentrieren können, anstatt sich mit technischen Problemen befassen zu müssen“, so Wolowiec. Bisher hat ENGIE 200 TB Daten gesammelt, die im Common Data Hub eingerichtet wurden.

Der Common Data Hub bildet die Grundlage der datengestützten Strategie von ENGIE. Er macht eine Datengemeinschaft zwischen der Informationstechnologie und Unternehmensanwendern möglich und trägt damit maßgeblich zur Steigerung der Datenkompetenz auf allen Ebenen bei ENGIE bei. Darüber hinaus hilft er, interne Prozesse zu optimieren und neue datengestützte Services zu entwickeln. Alle Geschäftseinheiten profitieren jetzt von einer einzigartigen Lösung, die eine schnellere Entwicklung datengestützter Anwendungen ermöglicht. Aktuell hat ENGIE weltweit mehr als 1000 Projekte im Common Data Hub eingerichtet. Der Common Data Hub bietet eine wirklich zusammenhängende Lösung, da er Silos beseitigt und jeder Abteilung den gleichen Zugang zum gemeinsamen Framework ermöglicht.

Mit seiner neuen Methode zum Sammeln und Teilen von Daten sieht ENGIE die Möglichkeit, seine Geschäftsabläufe zu ändern – und das Unternehmen ist dabei, ein vertikales Data Hub aufzubauen, um genau dies zu erreichen. ENGIE verfolgte in der Vergangenheit einen Bottom-Up-Ansatz, bei dem die Geschäftseinheiten Services für Kunden in ihrer jeweiligen Region bereitstellten. Da viele Energiedienstleistungen jedoch gleich sind, führt dies zu unnötiger Doppelarbeit. „Unsere Abläufe bei der Stromerzeugung und insbesondere bei der Erzeugung erneuerbarer Energie sind grundsätzlich überall gleich“, so Wolowiec. „Wir können den Common Data Hub nutzen, um weltweit die gleichen Anwendungsfälle zu entwickeln. Als nächstes müssen wir immer mehr Top-Down-Ansätze einführen – insbesondere für Windparks.“

ENGIE stellte nach der Entwicklung des Common Data Hub mithilfe von AWS-Services einen erheblichen Mehrwert fest, da die globalen Geschäftseinheiten Daten jetzt auf produktivere Weise erfassen, teilen und analysieren können. Die Geschäftseinheiten von ENGIE behalten ihre Autonomie, profitieren jetzt jedoch von den Stärken zentralisierter Daten. Sie gewinnen wichtige Einblicke in ähnliche Anwendungsfälle und entdecken neue, effizientere Möglichkeiten, die Welt mit Energie zu versorgen.