Información general
La transferencia de datos de Amazon S3 Glacier Vaults a Amazon S3 restaura, copia y transfiere los archivos almacenados en un almacén de Amazon Simple Storage Service Glacier (Amazon S3 Glacier) a un bucket de S3 y una clase de almacenamiento de su elección, incluidas las clases de almacenamiento de S3 Glacier. Esta solución de AWS simplifica el uso de sus datos al automatizar el proceso de transferencia, lo que hace que los datos archivados sean más accesibles y rentables.
Nota:
Las clases de almacenamiento de Amazon S3 Glacier, incluidas Glacier Deep Archive, Glacier Flexible Retrieval y Glacier Instant Retrieval, no son las mismas que las clases de almacenamiento de S3. Visite esta página web para obtener más información sobre estas clases de almacenamiento.
Beneficios
La automatización ahorra tiempo y minimiza la probabilidad de errores humanos durante el proceso de transferencia de datos, lo que ayuda a garantizar una operación más fiable y coherente.
La transferencia de datos de los almacenes de Amazon S3 Glacier a los buckets de S3 facilita el análisis y la utilización de los datos. De este modo, las aplicaciones y las herramientas de análisis pueden acceder más fácilmente a los datos, sin tiempos de restauración prolongados.
Las clases de almacenamiento de Amazon S3 permiten el etiquetado y un acceso más rápido a los datos. Los beneficios del etiquetado incluyen la clasificación de datos, el control de acceso detallado, la administración del ciclo de vida y la asignación de costos.
En el caso de los datos a los que se accede con poca frecuencia, la clase de almacenamiento Amazon S3 Glacier Deep Archive permite ahorrar casi un 75 % en costos de almacenamiento en la región Este de EE. UU. (Ohio) de AWS, en comparación con un almacén de S3 Glacier.
Detalles técnicos
Puede implementar automáticamente esta arquitectura con la guía de implementación y la plantilla de AWS CloudFormation asociada.
Paso 1
Invoque un flujo de trabajo de transferencia mediante un documento de AWS Systems Manager (documento SSM).
Paso 2
El documento de SSM inicia un flujo de trabajo de orquestador de AWS Step Functions.
Paso 3
La ejecución del orquestador de Step Functions inicia el flujo de trabajo anidado de obtención del inventario de Step Functions para recuperar el archivo de inventario.
Paso 4
Una vez finalizada la recuperación del inventario, la solución invoca el flujo de trabajo anidado Obtención del inventario de Step Functions.
Paso 5
Cuando un trabajo está listo, Amazon S3 Glacier envía una notificación a un tema de Amazon Simple Notification Service (Amazon SNS) que indica la finalización del trabajo.
Paso 6
La solución almacena todas las notificaciones de finalización de trabajos en la cola de notificaciones de Amazon Simple Queue Service (Amazon SQS).
Paso 7
Cuando un trabajo de archivado está listo, la cola de notificaciones de Amazon SQS invoca la función Procesador de notificaciones de AWS Lambda. Esta función de Lambda prepara los pasos iniciales para la recuperación de archivos.
Paso 8
La función Procesador de notificaciones de Lambda coloca los mensajes de recuperación de fragmentos en la cola de recuperación de fragmentos de Amazon SQS para procesarlos.
Paso 9
La cola de Recuperación de fragmentos de Amazon SQS invoca la función Recuperación de fragmentos de Lambda para procesar cada fragmento.
Paso 10
La función Recuperación de fragmentos de Lambda descarga el fragmento del almacén de Amazon S3 Glacier.
Paso 11
La función Recuperación de fragmentos de Lambda carga una parte de carga de varias partes en Amazon Simple Storage Service (Amazon S3).
Paso 12
Tras descargar un nuevo fragmento, la solución almacena los metadatos del fragmento en Amazon DynamoDB (etag, checksum_sha_256, tree_checksum).
Paso 13
La función Recuperación de fragmentos de Lambda verifica si se han procesado todos los fragmentos de ese archivo. En caso afirmativo, inserta un evento en la cola de validación de Amazon SQS para invocar la función Validar de Lambda.
Paso 14
La función Validar de Lambda realiza una comprobación de integridad y, a continuación, cierra la carga multiparte de Amazon S3.
Paso 15
Una secuencia de DynamoDB invoca la función Procesador de métricas de Lambda para actualizar las métricas del proceso de transferencia en DynamoDB.
Paso 16
El flujo de trabajo de orquestador de Step Functions entra en una espera asíncrona y se detiene hasta que finalice el flujo de trabajo de recuperación de archivos antes de iniciar el flujo de trabajo de limpieza de Step Functions.
Paso 17
La secuencia de DynamoDB invoca la función Facilitador de asincronía de Lambda, que desbloquea las esperas asincrónicas en Step Functions.
Paso 18
Las reglas de Amazon EventBridge inician periódicamente los flujos de trabajo de ampliar la ventana de descarga y actualizar el panel de Amazon CloudWatch de Step Functions.
Paso 19
Supervise el progreso de la transferencia mediante el panel de CloudWatch.
Paso 1
Invoque un flujo de trabajo de transferencia mediante un documento de AWS Systems Manager (documento SSM).
Paso 2
El documento de SSM inicia un flujo de trabajo de orquestador de AWS Step Functions.
Paso 3
La ejecución del orquestador de Step Functions inicia el flujo de trabajo anidado de obtención del inventario de Step Functions para recuperar el archivo de inventario.
Paso 4
Una vez finalizada la recuperación del inventario, la solución invoca el flujo de trabajo anidado Obtención del inventario de Step Functions.
Paso 5
Cuando un trabajo está listo, Amazon S3 Glacier envía una notificación a un tema de Amazon Simple Notification Service (Amazon SNS) que indica la finalización del trabajo.
Paso 6
La solución almacena todas las notificaciones de finalización de trabajos en la cola de notificaciones de Amazon Simple Queue Service (Amazon SQS).
Paso 7
Cuando un trabajo de archivado está listo, la cola de notificaciones de Amazon SQS invoca la función Procesador de notificaciones de AWS Lambda. Esta función de Lambda prepara los pasos iniciales para la recuperación de archivos.
Paso 8
La función Procesador de notificaciones de Lambda coloca los mensajes de recuperación de fragmentos en la cola de recuperación de fragmentos de Amazon SQS para procesarlos.
Paso 9
La cola de Recuperación de fragmentos de Amazon SQS invoca la función Recuperación de fragmentos de Lambda para procesar cada fragmento.
Paso 10
La función Recuperación de fragmentos de Lambda descarga el fragmento del almacén de Amazon S3 Glacier.
Paso 11
La función Recuperación de fragmentos de Lambda carga una parte de carga de varias partes en Amazon Simple Storage Service (Amazon S3).
Paso 12
Tras descargar un nuevo fragmento, la solución almacena los metadatos del fragmento en Amazon DynamoDB (etag, checksum_sha_256, tree_checksum).
Paso 13
La función Recuperación de fragmentos de Lambda verifica si se han procesado todos los fragmentos de ese archivo. En caso afirmativo, inserta un evento en la cola de validación de Amazon SQS para invocar la función Validar de Lambda.
Paso 14
La función Validar de Lambda realiza una comprobación de integridad y, a continuación, cierra la carga multiparte de Amazon S3.
Paso 15
Una secuencia de DynamoDB invoca la función Procesador de métricas de Lambda para actualizar las métricas del proceso de transferencia en DynamoDB.
Paso 16
El flujo de trabajo de orquestador de Step Functions entra en una espera asíncrona y se detiene hasta que finalice el flujo de trabajo de recuperación de archivos antes de iniciar el flujo de trabajo de limpieza de Step Functions.
Paso 17
La secuencia de DynamoDB invoca la función Facilitador de asincronía de Lambda, que desbloquea las esperas asincrónicas en Step Functions.
Paso 18
Las reglas de Amazon EventBridge inician periódicamente los flujos de trabajo de ampliar la ventana de descarga y actualizar el panel de Amazon CloudWatch de Step Functions.
Paso 19
Supervise el progreso de la transferencia mediante el panel de CloudWatch.
Contenido relacionado
S3 Glacier es un servicio seguro y duradero para archivar datos a bajo costo y hacer copias de seguridad a largo plazo mediante el uso de almacenes.
Este taller autoguiado ofrece una guía paso a paso para lanzar la solución de AWS, Transferencia de datos de almacenes de Amazon S3 Glacier a Amazon S3, en su cuenta de AWS.
- Fecha de publicación