ENGIE, AWS 기반 Common Data Hub를 구축하여 탄소 제로 전환 가속화

ENGIE의 고객은 도시부터 소매 고객, 대기업 외에도 매우 다양합니다. 태양광 패널과 풍력 발전소 등 분산형 자산으로 고객 스스로 전기를 생산할 수 있도록 지원하는 사례도 늘고 있습니다. ENGIE는 탈중앙화 과정을 진행함에 따라, 데이터 처리 전사적 자원 관리 소프트웨어의 시스템, 애플리케이션 및 제품을 업데이트해야 한다는 사실을 알게 되었습니다. 이 회사는 고객이 가치 사슬을 관리할 수 있도록 데이터를 수집하고 분석하는 통일된 방법이 필요했습니다. ENGIE 데이터 프로그램의 개발 및 제공을 안내하는 기술 팀장 Gregory Wolowiec은 “예를 들어 소비량을 측정하고 일기예보에 따라 전력 생산량을 예상하려면 데이터를 사용해야 합니다.”라고 말합니다. Wolowiec은 또한 국가 간 고립과 불일치의 문제를 언급합니다. “모든 솔루션이 국가마다 달랐습니다. 조직의 부문들 간에 공유가 없었죠. 전 세계 어디에서나 데이터를 효율적으로 수집하고 공유할 수 있다는 것이 우리에게 매우 중요한 일이 되었습니다.”

ENGIE의 최고 디지털 책임자인 Yves Le Gélard는 회사의 목적에 대해 설명합니다. “ENGIE의 지속 가능성은 모든 것의 알파이자 오메가입니다. 이것이 우리의 존재 이유입니다. 우리는 대기업과 지구상에서 가장 큰 도시들이 가능한 한 빨리 탄소 제로로 전환하도록 돕고 있습니다. 왜냐하면 이것이 오늘날 인류에게 가장 중요한 문제이기 때문입니다.”

ENGIE의 그룹 최고 데이터 책임자인 Gérard Guinamand는 “데이터에 관한 우리의 전략은 실제로 우리의 목적과 직접적으로 연결되어 있습니다. 탄소 제로 전환을 추진하고 달성하려면 먼저 현재 상황에 대한 데이터를 수집해야 합니다. 여기에는 얼마나 많은 이산화탄소를 태우는지, 어디서 태우는지, 그리고 날씨, 온도, 사람 수와 같은 환경적인 주제와 어떤 상관 관계가 있는지에 대한 데이터가 포함됩니다. 진행 상황을 측정하고 로드맵을 따를 수 있도록 이러한 모든 데이터를 저장, 수집 및 계산해야 한다”고 덧붙입니다.

ENGIE가 어떤 방법을 채택하든 높은 수준의 보안을 유지하고 전 세계의 규정을 준수해야 했습니다. 이 회사는 개념 증명을 작성하면서 국내 및 글로벌 클라우드 공급업체와 함께 다양한 솔루션을 모색했습니다. Wolowiec은 “우리는 AWS가 비용 모델, 특히 데이터 스토리지 측면에서 좋은 솔루션이라고 확신했습니다.”라고 말합니다. 그래서 ENGIE는 2018년 중반에 AWS에서 대규모 데이터 프로젝트를 시작했습니다.

Wolowiec은 Common Data Hub를 'ENGIE가 데이터를 저장하고, 데이터를 공유하며, 데이터를 통해 가치를 창출할 수 있는 협업 및 분산형 데이터 레이크'라고 설명합니다. 이 데이터 레이크는 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스인 Amazon Simple Storage Service(S3)를 사용하여 구축되었습니다. 이 솔루션은 Amazon S3 데이터 레이크의 반정형 데이터를 쿼리할 수 있는 완전관리형의 페타바이트급 클라우드 데이터 웨어하우스 서비스인 Amazon Redshift도 사용하여 데이터 웨어하우징에 대한 레이크 하우스 접근 방식을 입증합니다.

솔루션에 Amazon Redshift가 사용되므로 고객은 Common Data Hub 환경 안에 안전하게 데이터 웨어하우스를 배포하고 분석을 활용할 수 있습니다. 이 회사의 사업부 관리자는 Common Data Hub에서 Amazon Redshift 클러스터를 관리함으로써 Common Data Hub 프로젝트에 추가하고 Amazon S3 데이터 레이크의 데이터 세트에 쉽게 액세스할 수 있을 뿐만 아니라 Common Data Hub의 풍부한 데이터 세트 카탈로그를 통해 귀중한 인사이트를 구축할 수 있습니다. Common Data Hub는 두 가지 데이터 액세스 유형에 Amazon Redshift를 사용합니다. Amazon Redshift Spectrum을 사용하여 Common Data Hub의 S3 버킷에 직접 쿼리하고 자체 내부 스토리지를 갖춘 프로비저닝된 데이터 웨어하우스로 Amazon Redshift를 사용합니다. Wolowiec은 “우리는 Amazon Redshift Spectrum 기능을 사용하여 Common Data Hub가 관리하는 Amazon S3 데이터 레이크와 Amazon Redshift 데이터 웨어하우스를 연결합니다.”라고 말합니다.

Common Data Hub와 관련된 다른 AWS 서비스로는 확장성과 내구성이 뛰어난 실시간 데이터 스트리밍 서비스인 Amazon Kinesis Data Streams(Amazon KDS)가 있습니다. ENGIE는 Amazon KDS를 사용하여 사물 인터넷(IoT) 디바이스의 스트리밍 데이터를 실시간으로 손쉽게 수집, 처리 및 분석하여 인사이트 개발에 사용하는 정보를 빠르게 확보할 수 있습니다. AWS Glue는 메타데이터 리포지토리를 위한 완전관리형 추출, 로드, 변환(ETL) 서비스로, 데이터의 전송 및 정리에 도움이 됩니다. Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스이며, ENGIE의 사업부에서는 이 서비스를 통해 데이터를 볼 수 있습니다. 또한 데이터에서 추가 인사이트를 도출하기 위해 Amazon SageMaker를 사용하는데, 이 서비스는 모든 개발자 및 데이터 사이언티스트가 기계 학습 모델을 빠르게 구축, 훈련, 배포할 수 있도록 하는 완전관리형 서비스입니다.

전 세계에서 Common Data Hub를 원활하고 쉽게 채택할 수 있도록 ENGIE는 사업부 관리자가 수집한 데이터의 가치를 확인하고 분산된 데이터 레이크의 데이터에 액세스할 수 있도록 가속화 템플릿과 문서를 제공했습니다. Common Data Hub는 또한 높은 수준의 데이터 거버넌스 및 보안을 지원합니다. 데이터 생산자는 데이터 세트 및 워크플로에 대한 액세스를 공유하고 제어할 수 있으며, 소비자는 데이터에 대한 액세스를 요청하고 사용할 수 있습니다.

AWS 서비스의 통합은 ENGIE를 위한 안전하고 민첩하며 확장 가능한 솔루션을 제공했습니다. 이제 여러 사업부가 운영에 필수적인 요소가 모자라지 않게 필요한 방식으로 프레임워크를 사용할 수 있습니다. ENGIE 사업부는 사용 편의성과 자동화를 통해 AWS에서 Common Data Hub 솔루션을 구축한 후 신속하게 생산성을 높일 수 있습니다. 또한 환경적인 면에서도 긍정적인 영향이 있습니다. ENGIE는 데이터를 사용하여 풍력 발전으로부터 가능한 최대 에너지를 얻음으로써 이 중요한 재생 에너지원의 효율성을 높이는 데 도움을 줍니다. Wolowiec은 “우리는 기업이 기술적 문제를 처리하는 데 시간을 들이는 대신 가치 창출에 집중할 수 있도록 적절한 도구를 제공합니다.”라고 말합니다. 지금까지 ENGIE는 Common Data Hub에 설정된 200TB의 데이터를 수집했습니다.

Common Data Hub는 정보 기술과 비즈니스 사용자 간의 데이터 커뮤니티를 활성화하여 ENGIE 데이터 중심 전략의 중추를 형성하고, 모든 수준에서 ENGIE의 데이터 활용 능력을 높이고 내부 프로세스를 최적화하거나 새로운 데이터 중심 서비스를 창출하는 데 도움을 주는 액셀러레이터입니다. 이제 모든 사업부에서 데이터 중심 애플리케이션을 더 빨리 구축할 수 있는 고유한 솔루션을 사용할 수 있습니다. ENGIE는 현재 전 세계적으로 Common Data Hub에 1,000개 이상의 프로젝트를 진행하고 있습니다. Common Data Hub는 사일로를 제거하고 모든 부서에서 공통 프레임워크에 동등하게 액세스할 수 있는 진정한 통합 솔루션을 제공합니다.

ENGIE는 새로운 데이터 수집 및 공유 방법을 통해 비즈니스 수행 방식을 바꿀 수 있는 기회를 얻었으며, 이를 위해 수직 데이터 허브를 구축하는 과정에 있습니다. ENGIE는 역사적으로 상향식 접근 방식을 사용해 왔으며 사업부가 각 리전의 고객을 위해 서비스를 제공하고 있습니다. 그러나 많은 에너지 서비스가 동일하기 때문에 불필요한 업무 중복이 발생합니다. Wolowiec은 “우리의 발전 활동과 특히 재생 에너지 생산은 기본적으로 어디에서나 동일합니다.”라며, “우리는 Common Data Hub를 사용하여 전 세계에 공통적인 사용 사례를 구축할 수 있습니다. 다음 단계는 특히 풍력 발전을 위한 하향식 접근 방식을 점점 더 많이 도입하는 것”이라고 말합니다.

ENGIE는 Common Data Hub를 구축하기 위해 AWS 서비스를 사용하여 글로벌 사업부가 보다 생산적인 방식으로 데이터를 수집, 공유 및 분석할 수 있도록 함으로써 상당한 가치를 발견했습니다. ENGIE의 사업부는 여전히 자율성을 유지하고 있지만, 이제는 중앙 집중식 데이터의 장점을 활용하여 유사한 사용 사례에서 중요한 인사이트를 얻음으로써 전 세계를 보다 새롭고 효율적으로 운영할 수 있는 방법을 찾을 수 있습니다.