Gestione de decenas a miles de millones de objetos a escala
Las operaciones por lotes de S3 son una característica de administración de datos de Simple Storage Service (Amazon S3) que le permite administrar miles de millones de objetos a gran escala con tan solo unos clics en la consola de administración de Simple Storage Service (Amazon S3) o con una única solicitud de API. Con esta característica, puede introducir cambios a los metadatos de objetos y a sus propiedades, o llevar a cabo otras tareas de administración del almacenamiento, como copiar o replicar objetos entre buckets, sustituir conjuntos de etiquetas de objetos, modificar controles de acceso y restaurar objetos archivados desde S3 Glacier, en lugar de invertir meses en desarrollar aplicaciones personalizadas que hagan estas tareas.
Operaciones por lotes de S3
Las operaciones por lotes de S3 son una solución administrada para realizar acciones de almacenamiento como copiar y etiquetar objetos a gran escala, ya sea como tarea de una única vez o para cargas de trabajo por lotes recurrentes. Las operaciones por lotes de S3 pueden ejecutar acciones en miles de millones de objetos y petabytes de datos con una solicitud única. Para realizar una tarea en las operaciones por lotes de S3, cree un trabajo. Este trabajo consiste en la lista de objetos, las acciones que se realizarán y el conjunto de parámetros que especifique para este tipo de operación. Puede crear y ejecutar varios trabajos al mismo tiempo en las operaciones por lotes de S3 o utilizar los criterios de establecimiento de prioridades según sea necesario para definir la prioridad de cada uno de los trabajos y asegurarse de que los más importantes ocurran primero. Las operaciones por lotes de S3 permiten administrar los reintentos, realizar un seguimiento del progreso, enviar notificaciones, generar informes de finalización y ofrecer eventos para AWS CloudTrail para todos los cambios realizados y las tareas ejecutadas.
Las operaciones por lotes de S3 complementan cualquier arquitectura dirigida por eventos que pueda estar operando el día de hoy. Para los objetos nuevos, se recomienda el uso de los eventos de S3 y las funciones de Lambda para convertir tipos de archivos, crear miniaturas, realizar escaneos de datos y otras operaciones. Por ejemplo, los clientes utilizan eventos de S3 y funciones de Lambda para crear versiones más pequeñas y de baja resolución de fotografías cuando cargan las imágenes por primera vez a S3. Las operaciones por lotes de S3 proporcionan un mecanismo simple para realizar las mismas acciones en todos sus objectos existentes y, de este modo, complementar los flujos de trabajo existentes dirigidos por eventos.
Funcionamiento de las operaciones por lotes de S3
Para realizar una tarea en las operaciones por lotes de S3, debe crear un trabajo. Este trabajo consiste en la lista de objetos, las acciones que se realizarán y el conjunto de parámetros que especifique para este tipo de operación. Puede crear y ejecutar varios trabajos al mismo tiempo en las operaciones por lotes de S3 o utilizar los criterios de establecimiento de prioridades según sea necesario para definir la prioridad de cada uno de los trabajos y asegurarse de que los más importantes ocurran primero. Las operaciones por lotes de S3 permiten administrar los reintentos, hacer un seguimiento del progreso, enviar notificaciones, generar informes de finalización y ofrecer eventos para AWS CloudTrail para todos los cambios hechos y las tareas ejecutadas.
Tutoriales sobre las operaciones por lotes de S3
Clientes
-
Teespring
Teespring se fundó en 2011 y permite a los usuarios crear y vender en línea productos bajo demanda personalizados. Como cada producto personalizado requiere diversos recursos dentro de Teespring, ellos almacenan petabytes de datos en Amazon S3.
Las Operaciones por lotes de Amazon S3 nos ayudaron a optimizar nuestro almacenamiento mediante el uso de la clase de almacenamiento Glacier de Amazon S3. Utilizamos nuestro propio almacenamiento de metadatos para crear lotes de objetos que podamos migrar a Amazon S3 Glacier. Con Amazon S3 Glacier podemos ahorrar más del 80 % de nuestros gastos de almacenamiento. Siempre estamos en búsqueda de oportunidades para automatizar la administración del almacenamiento y, con las Operaciones por lotes de S3, podemos administrar millones de objetos en minutos.
James Brady, Vicepresidente de ingeniería en Teespring -
Capital One
Capital One es un banco que nació de la combinación de las finanzas y la tecnología, y es una de las marcas más reconocidas de América. Capital One utilizaba las operaciones por lotes de Amazon S3 para copiar datos entre dos regiones de AWS y así aumentar la redundancia de datos y estandarizar la huella de los datos en esas dos ubicaciones.
Con las Operaciones por lotes de Amazon S3, creamos un trabajo para copiar millones de objetos en horas, un trabajo que con el método tradicional habría tardado meses en completarse. Utilizamos el informe de inventario de Amazon S3, el cual nos proporcionó una lista de objetos en nuestro bucket, como aportes a nuestro trabajo de operaciones por lotes de Amazon S3. Amazon S3 contribuyó decisivamente a realizar copias de datos, proporcionar actualizaciones de progreso y producir un informe de auditoría una vez completado el trabajo. Contar con esta característica le ahorró a nuestros equipos semanas de esfuerzo manual y convirtió esta transferencia de datos a gran escala en algo rutinario.
Franz Zemen, Vicepresidente de ingeniería de software en Capital One -
ePlus
ePlus, un socio consultor avanzado de AWS, trabaja junto a los clientes para optimizar sus entornos de TI y utiliza soluciones como las operaciones por lotes de S3 para permitirles ahorrar tiempo y dinero.
Las Operaciones por lotes de S3 son simplemente increíbles. No solo ayudó a uno de nuestros clientes a reducir el tiempo, la complejidad y la dificultad de aunar la amplia variedad de operaciones de S3, programar trabajos y renderizar información de manera sencilla para utilizar el panel, sino que también permitió resolver algunos casos de uso desalentadores que no parecían poder resolverse en la fracción de tiempo en la que efectivamente se resolvieron con las operaciones por lotes de S3.
Por ejemplo, las operaciones por lotes de S3 agilizaron la tarea de copiar más de dos millones de objetos a lo largo de distintas regiones dentro de una misma cuenta al tiempo que los metadatos se mantenían intactos. La solución funcionó de manera ininterrumpida al realizar tareas similares en todas las cuentas y, sobre todo, generó un informe de finalización que seleccionó y separó automáticamente las operaciones exitosas de las fallidas en 400 millones de objetos, lo que permitió un manejo más sencillo de las operaciones fallidas en un solo archivo.David Lin, arquitecto sénior de soluciones y profesional certificado por AWS - ePlus