Kelola puluhan hingga miliaran objek dalam skala besar

S3 Batch Operations adalah fitur manajemen data Simple Storage Service (Amazon S3) yang memungkinkan Anda mengelola miliaran objek dalam skala besar hanya dengan beberapa klik di Konsol Manajemen Simple Storage Service (Amazon S3) atau satu permintaan API. Dengan fitur ini, Anda dapat membuat perubahan pada metadata dan properti objek, atau melakukan tugas manajemen penyimpanan lainnya, seperti menyalin atau mereplikasi objek di antara bucket, mengganti set tanda objek, mengubah kontrol akses, dan mengembalikan objek yang diarsipkan dari S3 Glacier, alih-alih membutuhkan waktu berbulan-bulan untuk mengembangkan aplikasi khusus untuk melakukan tugas-tugas ini.

S3 Batch Operations

S3 Batch Operations adalah solusi terkelola untuk melakukan tindakan penyimpanan seperti menyalin dan menandai objek dalam skala besar, baik untuk tugas satu kali atau untuk beban kerja batch yang berulang. S3 Batch Operations dapat melakukan tindakan pada miliaran objek dan petabyte data dengan satu permintaan. Untuk melakukan pekerjaan dalam S3 Batch Operations, Anda membuat pekerjaan. Pekerjaan itu terdiri dari daftar objek, tindakan yang harus dilakukan, dan set parameter yang Anda tentukan untuk jenis operasi itu. Anda dapat membuat dan menjalankan banyak pekerjaan sekaligus dalam S3 Batch Operations atau menggunakan prioritas pekerjaan sesuai kebutuhan untuk menentukan prioritas dari setiap pekerjaan dan memastikan pekerjaan yang paling penting diselesaikan terlebih dahulu. S3 Batch Operations juga mengelola percobaan ulang, melacak kemajuan, mengirimkan pemberitahuan penyelesaian, mengeluarkan laporan, dan mengirimkan peristiwa ke AWS CloudTrail untuk semua perubahan yang dibuat dan tugas yang diselesaikan.

S3 Batch Operations melengkapi arsitektur berbasis peristiwa apa pun yang mungkin Anda jalankan hari ini. Untuk objek baru, menggunakan peristiwa S3 dan fungsi Lambda sangat baik untuk mengkonversi tipe-tipe file, membuat thumbnail, melakukan pemindaian data, dan melakukan operasi lainnya. Misalnya, pelanggan menggunakan peristiwa S3 dan fungsi Lambda untuk membuat foto mentah berukuran kecil dan beresolusi tinggi saat gambar diunggah pertama kali ke S3. S3 Batch Operations melengkapi alur kerja berbasis-peristiwa yang ada ini dengan menyediakan sebuah mekanisme sederhana untuk melakukan tindakan yang sama di seluruh objek Anda yang ada.

Cara kerja: Operasi Batch S3

Diagram cara kerja Operasi Batch Amazon S3

Untuk melakukan pekerjaan di Operasi Batch S3, Anda membuat tugas. Pekerjaan itu terdiri dari daftar objek, tindakan yang harus dilakukan, dan set parameter yang Anda tentukan untuk jenis operasi itu. Anda dapat membuat dan menjalankan banyak pekerjaan sekaligus dalam S3 Batch Operations atau menggunakan prioritas pekerjaan sesuai kebutuhan untuk menentukan prioritas dari setiap pekerjaan dan memastikan pekerjaan yang paling penting diselesaikan terlebih dahulu. Operasi Batch S3 juga mengelola percobaan ulang, melacak kemajuan, mengirimkan notifikasi penyelesaian, mengeluarkan laporan, dan mengirimkan peristiwa ke AWS CloudTrail untuk semua perubahan yang dibuat dan tugas yang diselesaikan.

Tutorial Operasi Batch S3

Pelanggan

  • Teespring

    Teespring didirikan pada tahun 2011 dan memungkinkan pengguna untuk membuat dan menjual produk sesuai permintaan khusus secara online. Karena setiap bagian dari barang dagangan khusus memerlukan banyak aset di dalam Teespring, mereka menyimpan petabyte data di Amazon S3.

    Operasi Batch Amazon S3 membantu kami mengoptimalkan penyimpanan kami dengan memanfaatkan kelas penyimpanan Glacier Amazon S3. Kami menggunakan metadata penyimpanan kami sendiri untuk membuat kumpulan objek yang bisa kami pindahkan ke Amazon S3 Glacier. Dengan Amazon S3 Glacier kami menghemat lebih dari 80% dari biaya penyimpanan kami. Kami selalu mencari peluang untuk mengotomatiskan manajemen penyimpanan, dan dengan Operasi Batch S3, kami dapat mengelola jutaan objek dalam hitungan menit.

    James Brady, VP of Engineering - Teespring

  • Capital One

    Capital One adalah bank yang didirikan di titik pertemuan finansial dan teknologi serta salah satu merek paling terkenal di Amerika. Capital One menggunakan Amazon S3 Batch Operations untuk menyalin data antara dua wilayah AWS untuk meningkatkan redundansi data mereka dan untuk menstandarkan jejak data mereka di antara kedua lokasi tersebut.

    Dengan Operasi Batch Amazon S3 kami menciptakan tugas untuk menyalin jutaan objek dalam hitungan jam, pekerjaan yang secara tradisional membutuhkan waktu berbulan-bulan untuk diselesaikan. Kami menggunakan laporan inventaris Amazon S3, yang memberikan daftar objek dalam bucket kami, sebagai input untuk pekerjaan Amazon S3 Batch Operations kami. Amazon S3 sangat berperan dalam menyalin data, menyediakan pembaruan kemajuan, dan memberikan laporan audit ketika pekerjaan selesai. Dengan adanya fitur ini, tim kami dapat menghemat waktu berminggu-minggu untuk melakukan pekerjaan manual dan menjadikan transfer data berskala besar ini sebuah kegiatan yang rutin.

    Franz Zemen, Vice President, Software Engineering - Capital One

  • ePlus

     

    ePlus, Mitra Konsultasi Lanjutan AWS, bekerja dengan pelanggan untuk mengoptimalkan lingkungan TI mereka dan menggunakan solusi seperti, S3 Batch Operations, untuk menghemat waktu dan uang klien.

    Operasi Batch S3 sungguh menakjubkan. Tidak hanya itu membantu salah satu klien kami mengurangi waktu, kompleksitas, dan tugas yang melelahkan karena harus menyatukan berbagai pilihan operasi S3, menjadwalkan pekerjaan, kemudian merender informasi yang mudah untuk menggunakan dashboard, itu juga membantu mengatasi beberapa hal yang menakutkan. menggunakan kasus Saya tidak berpikir kita akan mampu mengatasi di sebagian kecil dari waktu yang dibutuhkan S3 Batch Operations menyelesaikan.
     
    Misalnya, S3 Batch Operations membuat pekerjaan cepat menyalin lebih dari 2 juta objek di seluruh wilayah dalam akun yang sama sambil menjaga metadata tetap utuh. Solusinya bekerja dengan lancar dalam melakukan tugas serupa di seluruh akun, dan yang paling penting, menghasilkan laporan penyelesaian yang secara otomatis memilah dan memisahkan operasi yang berhasil versus yang gagal di antara 400 juta objek yang memungkinkan untuk penanganan yang lebih sederhana dari operasi yang gagal dalam satu file.

    David Lin, Senior Solutions Architect & AWS Certified Professional - ePlus

Postingan blog S3 Batch Operations