성능이 중요한 애플리케이션을 위한 가장 빠른 클라우드 객체 스토리지
Amazon S3 Express One Zone은 가장 자주 액세스하는 데이터와 지연 시간에 민감한 애플리케이션에 대해 10밀리초 미만의 일관된 데이터 액세스를 제공하도록 특별히 설계된 고성능 단일 가용 영역 스토리지 클래스입니다. S3 Express One Zone은 S3 Standard에 비해 데이터 액세스 속도는 최대 10배 빠르고 요청 비용은 최대 50% 저렴합니다. S3 데이터를 저장할 특정 AWS 리전은 항상 선택할 수 있었지만, S3 Express One Zone을 사용하면 AWS 리전 내의 특정 AWS 가용 영역을 선택하여 데이터를 저장할 수 있습니다. 스토리지와 컴퓨팅 리소스를 동일한 가용 영역에 위치시켜 성능을 더욱 최적화함으로써 컴퓨팅 비용을 절감하고 워크로드를 더 빠르게 실행할 수 있습니다. S3 Express One Zone을 사용하면 초당 수십만 건의 요청을 지원하는 S3 디렉터리 버킷이라는 다른 버킷 유형에 데이터가 저장됩니다. 또한, Amazon SageMaker 모델 훈련, Amazon Athena, Amazon EMR, AWS Glue 데이터 카탈로그와 같은 서비스와 함께 S3 Express One Zone을 사용하여 기계 학습 및 분석 워크로드를 가속화할 수도 있습니다. S3 Express One Zone을 사용하면 사용량과 필요에 따라 스토리지가 자동으로 스케일 업 또는 스케일 다운되므로 지연 시간이 짧은 워크로드를 위해 더 이상 여러 스토리지 시스템을 관리할 필요가 없습니다.
성능이 중요한 애플리케이션 가속화
총 소유 비용 절감
프로비저닝 없이 간편하게 확장
작동 방식
선택한 가용 영역에 S3 디렉터리 버킷을 생성하여 시작합니다. Amazon Elastic Compute Cloud(EC2), Amazon Elastic Kubernetes Service(EKS) 및 Amazon Elastic Container Service(ECS) 컴퓨팅 리소스를 코로케이션하여 성능을 더욱 최적화할 수 있습니다. 새 객체를 직접 S3 Express One Zone에 업로드할 수도 있고 가져오기 버튼을 사용하여 다른 스토리지 클래스의 데이터를 복사할 수도 있습니다. 이는 동일한 AWS 리전의 범용 버킷 또는 접두사에서 디렉터리 버킷으로 기존 객체를 복사하는 추적 가능한 완전관리형 방법입니다. 디렉터리 버킷을 인공 지능 및 기계 학습(AI/ML) 서비스 및 애플리케이션, PyTorch와 같은 오픈 소스 프레임워크와 함께 사용하여 지연 시간 단축, 처리 시간 단축, 컴퓨팅 비용 절감, API 요청 비용 절감을 통해 성능에 중요한 워크로드를 가속화하고 전체 총 소유 비용(TCO)을 낮출 수 있습니다.
사용 사례
기계 학습 및 인공 지능 훈련
데이터 액세스 속도를 크게 개선하여 모델 데이터세트를 더 빠르게 처리함으로써 모델 훈련 및 개발을 가속화합니다.
대화식 데이터 분석
클라우드에서 지연 시간이 가장 짧은 고처리량 스토리지로 향상된 처리 속도를 통해 쿼리 속도를 가속화하여 페타바이트 규모의 데이터에 대한 분석에서 인사이트를 얻습니다.
고성능 컴퓨팅(HPC)
컴퓨팅 리소스를 코로케이션할 수 있는 속도 및 확장성이 뛰어난 스토리지를 사용하여 컴퓨팅 집약적인 HPC 워크로드를 빠르게 완료합니다.
데이터 스트리밍
10밀리초의 요청 지연 시간과 기존 객체에 데이터 추가와 같은 기능을 통해 로그 및 미디어 스트리밍 애플리케이션을 가속화합니다.
실시간 광고
요청 지연 시간이 10밀리초 미만인 타겟팅 광고 콘텐츠를 제공하여 다이나믹 플레이스먼트에서 개인화를 세밀하게 조정하고 광고 전달을 가속화할 수 있습니다.
미디어 콘텐츠 워크로드
컴퓨팅 상황에 따라 확장되는 스토리지를 사용하여 매우 짧은 시각 효과(VFX), 렌더링, 트랜스코딩 타임라인에 대처합니다.
Amazon S3 Express One Zone 고객
Pinterest는 매달 4억 8000만 명이 넘는 사람들이 세계 최고의 아이디어를 검색하고 저장하고 쇼핑하는 시각적 영감 플랫폼입니다. Pinterest는 고급 기계 학습 모델을 활용하여 수십억 개의 객체를 분석하고 각 사용자를 위한 추천을 개인화합니다.
“기계 학습은 Pinterest의 핵심이며 대규모 ML 훈련 로그 수집을 기반으로 합니다. 당사는 데이터 수집 및 배포를 가속화하기 위해 모든 ML 훈련 데이터를 지원하고 Amazon S3를 활용하여 비용 효율성을 유지하면서 10GB/s의 속도로 데이터 파이프라인을 강화하는 매우 효율적인 오픈 소스 PubSub 시스템인 MemQ를 개발했습니다. MemQ를 사용하는 Amazon S3 Express One Zone 스토리지 클래스를 평가한 결과, 초당 데이터 처리 트랜잭션 수가 증가하면서 지연 시간이 10배 이상 개선되었습니다. S3 Express One Zone을 사용함으로써 이러한 성능 향상을 바탕으로 인프라 비용을 크게 절감하면서 데이터 소비 속도를 높이고 실험을 더 자주 수행할 수 있게 되었습니다. S3 Express One Zone은 클라우드 애플리케이션의 성능, 확장성, 유연성 및 효율성을 높이는 패러다임 변화를 일으키고 있습니다.”
Ambud Sharma, Data Engineering Tech Lead, Pinterest
Ansatz Capital
Ansatz Capital은 다양한 자산 등급 및 글로벌 시장에 대한 전략을 개발하고 배포하기 위해 세계 최고 수준의 기술과 뛰어난 기술자를 활용하는 퀀트 트레이딩 팀입니다.
“고빈도 매매에서는 번개처럼 빠른 금융 시장 세계에 대한 최신 정보를 유지하기 위해 방대한 양의 시계열 데이터를 통해 모델을 지속적으로 훈련합니다. 연구 에코시스템에서 S3를 유연한 데이터 레이크로 사용하기 때문에 최대한 신속하게 거래할 수 있습니다. Amazon S3 Express One Zone 스토리지 클래스의 낮은 요청 지연 시간과 높은 성능 덕분에 전체 워크로드 속도가 78% 향상되고 자산 및 시점에 걸쳐 더 높은 수준의 세분성으로 모델을 확장할 수 있었습니다.”
Shiyang Cao, CTO, Ansatz Capital
ClickHouse
ClickHouse는 실시간 애플리케이션 및 분석을 위한 가장 빠르고 리소스 효율적인 오픈 소스 데이터베이스입니다. ClickHouse Cloud의 클라우드 네이티브 서비스형 데이터베이스는 AWS에서 실행됩니다.
“ClickHouse Cloud는 관찰성부터 시장 거래 데이터까지 실시간 분석에 사용됩니다. 이를 위해서는 대규모로 최고의 스토리지 성능이 필요하기 때문에 가장 까다로운 실시간 분석 애플리케이션을 지원하는 서비스 내 데이터의 핫 캐시에 Amazon S3 Express One Zone 스토리지 클래스를 사용합니다. S3 Express One Zone은 초당 수십만 건의 트랜잭션에 대해 10밀리초 미만의 일관된 요청 지연 시간을 제공하므로 ClickHouse Cloud는 이전보다 훨씬 빠르게 데이터를 처리할 수 있습니다. S3 Express One Zone을 통해 모든 데이터 소스에서 쿼리 속도를 높이고 SQL 쿼리를 사용하여 실시간으로 분석 보고서를 생성하여 사용자에게 탁월한 성능을 제공하고 있습니다. 아키텍처에 S3 Express One Zone을 추가함으로써 쿼리 성능을 최대 283% 개선하고 전체 TCO를 65% 절감했습니다.”
Tanya Bragin, ClickHouse VP Product
리소스
Amazon S3 Express One Zone 시작하기
AWS Management Console 사용을 시작하기 위한 권장 사항 및 단계별 지침을 보려면 이 동영상을 시청하세요.