수십에서 수십억 개의 객체를 대규모로 관리
S3 배치 작업은 Simple Storage Service(Amazon S3) Management Console에서 단 몇 번의 클릭만으로 또는 단일 API 요청을 통해 대규모로 수십억 개의 객체를 관리할 수 있는 Simple Storage Service(Amazon S3) 데이터 관리 기능입니다. 이 기능을 사용하면 객체 메타데이터와 속성을 변경하거나, 기타 스토리지 관리 작업(버킷 간 객체 복사 또는 복제, 객체 태그 세트 대체, 액세스 제어 수정, S3 Glacier에서 아카이브된 객체 복원 등)을 수행할 수 있으므로, 몇 개월에 걸쳐 이러한 태스크를 수행하는 사용자 지정 애플리케이션을 개발할 필요가 없습니다.
S3 배치 작업
S3 배치 작업은 일회성 작업이든 반복적인 배치 워크로드든 관계없이 규모에 따라 객체 복사 및 태그 지정과 같은 스토리지 작업을 수행하는 관리형 솔루션입니다. S3 배치 작업은 단일 요청으로 수십억 개의 객체 및 페타바이트 데이터에 대한 작업을 수행할 수 있습니다. S3 배치 작업에서 작업을 수행하려면 작업을 생성합니다. 작업은 객체 목록, 수행할 작업 및 해당 유형의 작업에 대해 지정한 파라미터 집합으로 구성됩니다. S3 배치 작업에서 한 번에 여러 작업을 생성 및 실행하거나 필요에 따라 작업 우선 순위를 사용하여 각 작업의 우선 순위를 정의하고 가장 중요한 작업을 먼저 수행할 수 있습니다. S3 배치 작업은 또한 재시도 관리, 진행 상황 추적, 완료 알림 전송, 보고서 생성과 같은 작업을 수행하며, 모든 변경 사항 및 실행된 작업에 대하여 AWS CloudTrail에 이벤트를 전달합니다.
S3 배치 작업은 현재 작업 중인 모든 이벤트 중심 아키텍처를 보완합니다. 새로운 객체의 경우 파일 형식 변환, 썸네일 생성, 데이터 스캔 및 기타 작업 수행에 S3 이벤트 및 Lambda 함수가 유용합니다. 예를 들어 고객은 이미지를 S3에 처음 업로드할 때 S3 이벤트와 Lambda 함수를 사용하여 더 작은 크기의 저해상도 버전 원시 사진을 생성합니다. S3 배치 작업은 기존 객체에 대해서도 동일한 작업을 수행할 수 있는 간단한 메커니즘을 제공하여 이러한 기존 이벤트 중심 워크플로를 보완합니다.
작동 방식: S3 배치 작업
S3 배치 작업에서 작업을 수행하려면 작업을 생성합니다. 작업은 객체 목록, 수행할 작업 및 해당 유형의 작업에 대해 지정한 파라미터 집합으로 구성됩니다. S3 배치 작업에서 한 번에 여러 작업을 생성 및 실행하거나 필요에 따라 작업 우선 순위를 사용하여 각 작업의 우선 순위를 정의하고 가장 중요한 작업을 먼저 수행할 수 있습니다. S3 배치 작업은 또한 재시도 관리, 진행 상황 추적, 완료 알림 전송, 보고서 생성과 같은 작업을 수행하며, 모든 변경 사항 및 실행된 작업에 대하여 AWS CloudTrail에 이벤트를 전달합니다.
S3 배치 작업 자습서
고객
-
Teespring
Teespring은 2011년에 설립되었으며 사용자가 온디맨드 제품을 온라인에서 만들고 판매할 수 있도록 지원합니다. 모든 사용자 지정 상품에는 Teespring 내부의 여러 자산이 필요하므로 이 업체는 페타바이트 데이터를 Amazon S3에 저장합니다.
Amazon S3 배치 작업은 Amazon S3의 Glacier 스토리지 클래스를 활용하여 스토리지를 최적화하는 데 도움이 되었습니다. 당사는 자체 스토리지 메타데이터를 사용하여 Amazon S3 Glacier로 이동할 수 있는 객체 배치를 생성했습니다. Amazon S3 Glacier를 통해 80% 이상의 스토리지 비용을 절감했습니다. 당사는 항상 스토리지 관리를 자동화할 수 있는 기회를 찾고 있었는데, 이제 S3 배치 작업을 통해 수백만 개의 객체를 몇 분 안에 관리할 수 있습니다.
Teespring 엔지니어링 담당 부사장 James Brady -
Capital One
Capital One은 금융과 기술의 교차점에 있는 은행으로, 미국에서 가장 유명한 브랜드 중 하나입니다. Capital One은 Amazon S3 배치 작업을 통해 두 AWS 리전 간에 데이터를 복사하여 데이터 중복성을 높이고 두 위치 간의 데이터 공간을 표준화했습니다.
Amazon S3 배치 작업을 통해 수백만 개의 객체를 복사하는 작업을 몇 시간 만에 생성했습니다. 이전에는 완료하는 데 몇 달이 걸렸던 작업입니다. Amazon S3의 인벤토리 보고서를 사용하여 버킷에 있는 객체 목록을 Amazon S3 배치 작업의 작업(job)에 대한 입력으로 사용했습니다. Amazon S3는 데이터 복사, 진행률 업데이트 사항 제공, 작업 완료 시 감사 보고서 제공에 있어 중요한 역할을 했습니다. 이 기능을 통해 팀의 수동 작업 시간을 몇 주나 절약하고 이러한 대규모 데이터 전송을 일상적인 작업으로 바꿀 수 있었습니다.
Capital One 소프트웨어 엔지니어링 부문 부사장 Franz Zemen -
ePlus
AWS 어드밴스드 컨설팅 파트너인 ePlus는 고객과 협력하여 IT 환경을 최적화하고 S3 배치 작업과 같은 솔루션을 사용하여 고객의 시간과 비용을 절약합니다.
S3 배치 작업은 매우 놀랍습니다. 고객이 광범위한 S3 작업을 통합하고 작업을 예약한 다음 정보를 사용하기 간편한 대시보드로 렌더링해야 하는 데 따른 시간, 복잡성 및 번거로운 작업을 줄이는 데 도움이 되었을 뿐만 아니라 까다로운 사용 사례를 해결하는 데에도 도움이 되었습니다. S3 배치 작업이 없었다면 이토록 짧은 시간 내에 해결할 수 없었을 것입니다.
예를 들어 S3 배치 작업은 메타데이터를 온전하게 유지하면서 동일한 계정 내에서 리전 간에 200만 개 이상의 객체를 빠르게 복사하는 작업을 수행했습니다. 이 솔루션으로 여러 계정 간에 유사한 작업을 원활하게 수행했습니다. 특히 4억 개의 객체에 대해 성공한 작업과 실패한 작업을 자동으로 분류 및 분리하는 완료 보고서를 생성하므로 단일 파일에서 실패한 작업을 더욱 간단하게 처리할 수 있게 되었습니다.David Lin, ePlus Senior Solutions Architect 겸 AWS 공인 프로페셔널