제로 ETL이란 무엇인가요?
제로 ETL은 ETL 데이터 파이프라인을 구축할 필요성을 없애거나 최소화하는 통합 세트입니다. 추출, 전환, 적재(ETL)는 다양한 소스의 데이터를 결합, 정리 및 정규화하여 분석, 인공 지능(AI) 및 기계 학습(ML) 워크로드에 대비하는 프로세스입니다. 기존 ETL 프로세스는 개발, 유지 관리 및 규모 조정하는 데 시간이 많이 걸리고 복잡합니다. 반면 제로 ETL 통합은 ETL 데이터 파이프라인을 생성할 필요 없이 지점 간 데이터 이동을 용이하게 합니다. 또한 제로 ETL을 사용하면 데이터를 이동할 필요 없이 데이터 사일로 전반에서 쿼리를 수행할 수 있습니다.
제로 ETL 통합으로 어떤 ETL 문제가 해결되나요?
제로 ETL 통합은 기존 ETL 프로세스의 고질적인 데이터 이동 문제를 대부분 해결합니다.
시스템 복잡성 증가
ETL 데이터 파이프라인은 데이터 통합 작업의 복잡성을 증가시킵니다. 원하는 대상 스키마에 맞게 데이터를 매핑하려면 복잡한 데이터 매핑 규칙이 필요하며 데이터 불일치 및 충돌을 처리해야 합니다. 문제를 진단하려면 효과적인 오류 처리, 로깅 및 알림 메커니즘을 구현해야 합니다. 데이터 보안 요구 사항은 시스템에 대한 제약을 더욱 가중시킵니다.
추가 비용
ETL 파이프라인은 처음에는 비용이 많이 들지만 데이터 볼륨이 증가함에 따라 비용이 급증할 수 있습니다. 시스템 간 중복 데이터 스토리지는 대량의 데이터에 적합하지 않을 수 있습니다. 또한 ETL 프로세스를 확장하려면 비용이 많이 드는 인프라 업그레이드, 쿼리 성능 최적화 및 병렬 처리 기술이 필요한 경우가 많습니다. 요구 사항이 변경되면 데이터 엔지니어링을 통해 업데이트 프로세스 중에 파이프라인을 지속적으로 모니터링하고 테스트해야 하므로 유지 관리 비용이 증가합니다.
분석, AI 및 ML 실행 시간 지연
일반적으로 ETL 프로세스에는 사용자 지정 코드를 생성하는 데이터 엔지니어와 워크로드 규모 조정에 필요한 인프라를 배포하고 관리하는 DevOps 엔지니어가 있어야 합니다. 데이터 소스가 변경된 경우에는 데이터 엔지니어가 코드를 수동으로 수정하고 다시 배포해야 합니다. 이 프로세스는 몇 주가 소요될 수 있으며, 이로 인해 분석, 인공 지능 및 기계 학습 워크로드 실행이 지연될 수 있습니다. 또한 ETL 데이터 파이프라인을 구축하고 배포하는 데 필요한 시간으로 인해 온라인 광고 게재, 사기 거래 탐지 또는 실시간 공급망 분석 등 실시간에 가까운 사용 사례에는 데이터를 사용하기 부적합합니다. 이러한 시나리오에서는 고객 경험 개선, 새로운 비즈니스 기회 포착, 비즈니스 위험 감소의 기회를 잃게 됩니다.
제로 ETL을 사용하면 어떤 이점이 있나요?
제로 ETL은 조직의 데이터 전략에 여러모로 이점을 제공합니다.
민첩성 향상
제로 ETL은 데이터 아키텍처를 단순화하고 데이터 엔지니어링 작업을 줄여줍니다. 그래서 대량의 데이터를 재처리하지 않아도 새 데이터 소스가 포함됩니다. 이러한 유연성은 민첩성을 향상시켜 데이터 중심의 의사 결정과 신속한 혁신을 지원합니다.
비용 효율성
제로 ETL은 확장 가능한 클라우드 네이티브 데이터 통합 기술을 활용하여 실제 사용 및 데이터 처리 요구 사항에 따라 비용을 최적화하려는 기업을 지원합니다. 인프라 비용, 개발 작업 및 유지 관리 오버헤드를 줄여줍니다.
실시간 인사이트
기존 ETL 프로세스는 주기적인 일괄 업데이트가 종종 필요하며, 이 경우 데이터 제공이 지연됩니다. 반면 제로 ETL은 실시간 또는 실시간에 가까운 데이터 액세스를 제공하여 분석, AI/ML 및 보고를 위한 최신 데이터를 보장합니다. 실시간 대시보드, 최적화된 게임 경험, 데이터 품질 모니터링, 고객 행동 분석 등의 사용 사례에 대해 더 정확하고 시기적절한 인사이트를 제공합니다. 따라서 더 자신 있게 데이터 기반 예측을 하고, 고객 경험을 개선하고, 비즈니스 전반에서 데이터 기반 인사이트를 증진시킬 수 있습니다.
제로 ETL의 다른 사용 사례로는 무엇이 있나요?
제로 ETL의 주요 사용 사례는 세 가지입니다.
페더레이션 쿼리
페더레이션 쿼리 기술을 사용하면 데이터 이동에 대해 걱정할 필요 없이 다양한 데이터 소스를 쿼리할 수 있습니다. 익숙한 SQL 명령을 사용하여 쿼리를 실행하고 운영 데이터베이스, 데이터 웨어하우스, 데이터 레이크와 같은 여러 소스의 데이터를 결합할 수 있습니다. 인 메모리 데이터 그리드(IMDG)는 캐시하고 처리할 데이터를 메모리에 저장하므로 즉각적으로 분석하고 대응하는 이점을 누릴 수 있습니다. 그런 다음 추가 분석과 후속 사용을 위해 조인 결과를 데이터 저장소에 저장할 수 있습니다.
스트리밍 수집
데이터 스트리밍 및 메시지 큐 플랫폼은 여러 소스의 실시간 데이터를 스트리밍합니다. 데이터 웨어하우스와의 제로 ETL 통합을 사용하면 여러 스트림에서 거의 즉시 데이터를 수집하여 분석용으로 제공할 수 있습니다. 변환할 스트리밍 데이터를 다른 스토리지 서비스에 스테이징할 필요가 없습니다.
즉시 복제
기존에는 트랜잭션 데이터베이스에서 중앙 데이터 웨어하우스로 데이터를 이동하려면 항상 복잡한 ETL 솔루션이 필요했습니다. 오늘날에는 제로 ETL이 데이터 복제 도구 역할을 하여 트랜잭션 데이터베이스의 데이터를 데이터 웨어하우스로 즉시 복제할 수 있습니다. 복제 메커니즘은 변경 데이터 캡처(CDC) 기술을 사용하며, 데이터 웨어하우스에 내장 가능합니다. 복제는 사용자가 쉽게 파악할 수 없습니다. 애플리케이션이 트랜잭션 데이터베이스에 데이터를 저장하면 분석가가 웨어하우스의 데이터를 끊김 없이 쿼리하기 때문입니다.
AWS는 제로 ETL 작업을 어떻게 지원하나요?
AWS는 제로 ETL 미래에 투자하고 있습니다. 제로 ETL를 기본적으로 지원하는 서비스의 예를 들면 다음과 같습니다.
Amazon Athena는 오픈소스 프레임워크에 구축된 서버리스 대화형 분석 서비스로, 개방형 테이블과 파일 형식을 지원합니다. Athena는 페타바이트 규모의 데이터를 상주 위치에서 분석하는 간소화되고 유연한 방식을 제공합니다. 사용자는 Amazon Simple Storage Service(S3) 데이터 레이크 및 온프레미스나 SQL 또는 Python을 사용하는 기타 클라우드 시스템을 포함하는 30개의 데이터 소스로부터 데이터를 분석하거나 애플리케이션을 구축할 수 있습니다. Athena는 오픈 소스 Trino 및 Presto 엔진과 Apache Spark 프레임워크로 구축되었으며 프로비저닝이나 구성 작업이 필요 없습니다.
Amazon Redshift 스트리밍 수집은 Amazon Kinesis Data Streams 또는 Amazon MSK로부터 초당 수백 메가바이트의 데이터를 수집합니다. 실시간으로 데이터를 쿼리하려면 스키마를 정의하거나 SUPER 데이터 유형을 사용하여 반정형 데이터를 수집하도록 선택합니다.
Amazon Redshift와의 Amazon Aurora 제로 ETL 통합은 실시간에 가까운 분석과 기계 학습(ML)을 지원합니다. Aurora에서 수집한 페타바이트 규모의 트랜잭션 데이터에 대한 분석 워크로드에 Amazon Redshift를 사용합니다. 트랜잭션 데이터를 Aurora DB 클러스터에 작성한 후 Amazon Redshift에서 사용할 수 있는 완전 관리형 솔루션입니다.
S3의 Amazon Redshift 자동 복사는 Amazon Redshift로의 파일 수집을 간소화하고 자동화합니다. 자동 복사 기능은 사용자 지정 코딩이나 수동 수집 작업 없이 S3에 새 파일이 만들어지는 즉시 데이터를 지속적으로 수집합니다.
AWS Lake Formation을 사용한 데이터 공유 액세스 제어는 조직 전체에서 공유하는 데이터에 대한 세분화된 액세스를 중앙에서 관리합니다. 이제 사용자는 Amazon Redshift 내에서 테이블, 열 및 행에 대한 권한을 정의, 수정 및 감사할 수 있습니다.
지금 바로 무료 계정을 만들어 AWS에서 제로 ETL을 시작해 보세요!
