개요
Data Transfer from Amazon S3 Glacier Vaults to Amazon S3는 Amazon Simple Storage Service Glacier(Amazon S3 Glacier) 저장소에 저장된 아카이브를 S3 Glacier 스토리지 클래스 등 선택한 S3 버킷 및 스토리지 클래스로 복원, 복사 및 전송합니다. 이 AWS 솔루션을 사용하면 전송 프로세스를 자동화하여 데이터 사용이 간소화되므로 아카이브된 데이터에 대한 접근성과 비용 효율성이 향상됩니다.
참고:
Glacier Deep Archive, Glacier Flexible Retrieval 및 Glacier Instant Retrieval 등의 Amazon S3 Glacier 스토리지는 S3 스토리지 클래스와 다릅니다. 이 웹 페이지를 방문하여 이러한 스토리지 클래스에 대해 자세히 알아보세요.
이점
자동화를 수행하면 시간을 절약하고 데이터 전송 프로세스 중 인적 오류 가능성이 최소화되어 보다 안정적이고 일관적인 운영을 보장하는 데 도움이 됩니다.
Amazon S3 Glacier 저장소에서 S3 버킷으로 데이터를 전송하면 데이터를 더 손쉽게 분석 및 활용할 수 있습니다. 복원 시간을 연장하지 않고도 애플리케이션 및 분석 도구에서 데이터에 더 쉽게 액세스할 수 있습니다.
Amazon S3 스토리지 클래스를 사용하면 데이터에 태그를 지정하고 더 빠르게 액세스할 수 있습니다. 태그 지정의 이점으로는 데이터 분류, 세분화된 액세스 제어, 수명 주기 관리, 비용 할당 등이 있습니다.
거의 액세스하지 않는 데이터의 경우 Amazon S3 Glacier Deep Archive 스토리지 클래스를 사용하면 S3 Glacier 저장소에 비해 AWS 미국 동부(오하이오) 리전의 스토리지 비용을 거의 75% 절감할 수 있습니다.
기술 세부 정보
구현 가이드 및 함께 제공되는 AWS CloudFormation 템플릿을 사용하여 이 아키텍처를 자동으로 배포할 수 있습니다.
1단계
AWS Systems Manager 문서(SSM 문서)를 사용하여 전송 워크플로를 간접적으로 호출합니다.
2단계
SSM 문서가 AWS Step Functions 오케스트레이터 워크플로를 시작합니다.
3단계
Step Functions 오케스트레이터 워크플로가 중첩된 Step Functions 인벤토리 가져오기 워크플로를 시작하여 인벤토리 파일을 검색합니다.
4단계
인벤토리 검색이 완료되면 솔루션이 중첩된 Step Functions 검색 시작 워크플로를 간접적으로 호출합니다.
5단계
작업이 준비되면 Amazon S3 Glacier가 Amazon Simple Notification Service(SNS) 토픽에 작업 완료를 알리는 알림을 보냅니다.
6단계
솔루션이 모든 작업 완료 알림을 Amazon Simple Queue Service(Amazon SQS) 알림 대기열에 저장합니다.
7단계
아카이브 작업이 준비되면 Amazon SQS 알림 대기열이 AWS Lambda Notifications Processor 함수를 간접적으로 호출합니다. 이 Lambda 함수는 아카이브 검색을 위한 초기 단계를 준비합니다.
8단계
Lambda Notifications Processor 함수가 청크를 처리하기 위해 청크 검색 메시지를 Amazon SQS 청크 검색 대기열에 배치합니다.
9단계
Amazon SQS 청크 검색 대기열이 Lambda Chunk Retrieval 함수를 간접적으로 호출하여 각 청크를 처리합니다.
10단계
Lambda Chunk Retrieval 함수가 Amazon S3 Glacier 저장소에서 청크를 다운로드합니다.
11단계
Lambda Chunk Retrieval 함수가 멀티파트 업로드 파트를 Amazon Simple Storage Service(S3)에 업로드합니다.
12단계
새 청크가 다운로드되면 솔루션이 Amazon DynamoDB(etag, checksum_sha_256, tree_checksum)에 청크 메타데이터를 저장합니다.
13단계
Lambda Chunk Retrieval 함수가 해당 아카이브의 모든 청크가 처리되었는지 여부를 확인합니다. 모두 처리된 경우, 이벤트를 Amazon SQS 검증 대기열에 삽입하여 Lambda Validate 함수를 간접적으로 호출합니다.
14단계
Lambda Validate 함수가 무결성 검사를 수행한 다음 Amazon S3 멀티파트 업로드를 종료합니다.
15단계
DynamoDB 스트림이 Lambda Metrics Processor 함수를 간접적으로 호출하여 DynamoDB의 전송 프로세스 지표를 업데이트합니다.
16단계
Step Functions 오케스트레이터 워크플로가 비동기 대기 상태로 전환되어 아카이브 검색 워크플로가 완료될 때까지 일시 중지된 후 Step Functions 정리 워크플로가 시작됩니다.
17단계
DynamoDB 스트림이 Step Functions에서 비동기 대기의 잠금을 해제하는 Lambda Async Facilitator 함수를 간접적으로 호출합니다.
18단계
Amazon EventBridge 규칙이 정기적으로 Step Functions 다운로드 기간 연장 및 Amazon CloudWatch 대시보드 업데이트 워크플로를 시작합니다.
19단계
CloudWatch 대시보드를 사용하여 전송 진행 상황을 모니터링할 수 있습니다.
1단계
AWS Systems Manager 문서(SSM 문서)를 사용하여 전송 워크플로를 간접적으로 호출합니다.
2단계
SSM 문서가 AWS Step Functions 오케스트레이터 워크플로를 시작합니다.
3단계
Step Functions 오케스트레이터 워크플로가 중첩된 Step Functions 인벤토리 가져오기 워크플로를 시작하여 인벤토리 파일을 검색합니다.
4단계
인벤토리 검색이 완료되면 솔루션이 중첩된 Step Functions 검색 시작 워크플로를 간접적으로 호출합니다.
5단계
작업이 준비되면 Amazon S3 Glacier가 Amazon Simple Notification Service(SNS) 토픽에 작업 완료를 알리는 알림을 보냅니다.
6단계
솔루션이 모든 작업 완료 알림을 Amazon Simple Queue Service(Amazon SQS) 알림 대기열에 저장합니다.
7단계
아카이브 작업이 준비되면 Amazon SQS 알림 대기열이 AWS Lambda Notifications Processor 함수를 간접적으로 호출합니다. 이 Lambda 함수는 아카이브 검색을 위한 초기 단계를 준비합니다.
8단계
Lambda Notifications Processor 함수가 청크를 처리하기 위해 청크 검색 메시지를 Amazon SQS 청크 검색 대기열에 배치합니다.
9단계
Amazon SQS 청크 검색 대기열이 Lambda Chunk Retrieval 함수를 간접적으로 호출하여 각 청크를 처리합니다.
10단계
Lambda Chunk Retrieval 함수가 Amazon S3 Glacier 저장소에서 청크를 다운로드합니다.
11단계
Lambda Chunk Retrieval 함수가 멀티파트 업로드 파트를 Amazon Simple Storage Service(S3)에 업로드합니다.
12단계
새 청크가 다운로드되면 솔루션이 Amazon DynamoDB(etag, checksum_sha_256, tree_checksum)에 청크 메타데이터를 저장합니다.
13단계
Lambda Chunk Retrieval 함수가 해당 아카이브의 모든 청크가 처리되었는지 여부를 확인합니다. 모두 처리된 경우, 이벤트를 Amazon SQS 검증 대기열에 삽입하여 Lambda Validate 함수를 간접적으로 호출합니다.
14단계
Lambda Validate 함수가 무결성 검사를 수행한 다음 Amazon S3 멀티파트 업로드를 종료합니다.
15단계
DynamoDB 스트림이 Lambda Metrics Processor 함수를 간접적으로 호출하여 DynamoDB의 전송 프로세스 지표를 업데이트합니다.
16단계
Step Functions 오케스트레이터 워크플로가 비동기 대기 상태로 전환되어 아카이브 검색 워크플로가 완료될 때까지 일시 중지된 후 Step Functions 정리 워크플로가 시작됩니다.
17단계
DynamoDB 스트림이 Step Functions에서 비동기 대기의 잠금을 해제하는 Lambda Async Facilitator 함수를 간접적으로 호출합니다.
18단계
Amazon EventBridge 규칙이 정기적으로 Step Functions 다운로드 기간 연장 및 Amazon CloudWatch 대시보드 업데이트 워크플로를 시작합니다.
19단계
CloudWatch 대시보드를 사용하여 전송 진행 상황을 모니터링할 수 있습니다.