Migrasi Data Cloud
Data adalah landasan keberhasilan penerapan aplikasi, alur kerja analitik, dan inovasi machine learning. Ketika memindahkan data ke cloud, Anda perlu memahami lokasi pemindahan data untuk kasus penggunaan yang berbeda, jenis data yang dipindahkan, dan sumber daya jaringan yang tersedia di antara pertimbangan lainnya. AWS menawarkan berbagai layanan dan alat partner untuk membantu memigrasikan dataset Anda, baik file, database, citra mesin, volume blok, maupun cadangan pita.
Layanan Migrasi Data AWS Cloud
AWS memberikan portofolio transfer daya untuk memberikan solusi yang tepat bagi proyek migrasi data apa pun. Level konektivitas adalah faktor utama dalam migrasi data, dan AWS memiliki penawaran yang dapat memenuhi kebutuhan penyimpanan cloud hybrid, transfer data online, dan transfer data offline.
Penyimpanan cloud hibrida
Banyak pelanggan yang ingin memanfaatkan penyimpanan cloud, namun memiliki aplikasi yang dijalankan secara lokal yang memerlukan akses latensi rendah ke data mereka, atau memerlukan transfer data cepat ke cloud. Arsitektur penyimpanan cloud hibrida AWS menghubungkan aplikasi lokal Anda dan sistem ke penyimpanan cloud untuk membantu mengurangi biaya, meminimalkan beban pengelolaan, dan berinovasi dengan data Anda.
AWS Storage Gateway
AWS Storage Gateway menyederhanakan adopsi lokal Penyimpanan AWS. Storage Gateway memungkinkan Anda terhubung secara lancar dan memperluas aplikasi lokal ke Penyimpanan AWS. Pelanggan menggunakan Storage Gateway untuk mengganti pustaka pita dengan penyimpanan cloud, menyediakan berbagi file yang didukung penyimpanan cloud, atau membuat cache latensi rendah untuk mengakses data dalam AWS untuk aplikasi lokal. Layanan menyediakan tiga jenis gateway yang berbeda – File Gateway, Tape Gateway, dan Volume Gateway.
- Data file File Gateway disimpan di Amazon S3 sebagai objek berdaya tahan menggunakan Amazon S3 File Gateway atau dalam berbagi file yang dikelola sepenuhnya menggunakan Amazon FSx File Gateway.
- Konfigurasi perpustakaan pita virtual (VTL) Tape Gateway terintegrasi secara lancar dengan perangkat lunak cadangan yang sudah ada untuk penggantian pita hemat biaya di Amazon S3 serta pengarsipan jangka panjang di S3 Glacier dan S3 Glacier Deep Archive.
- Gateway Volume menyimpan atau melakukan cache volume blok secara lokal, dengan pencadangan waktu tertentu sebagai snapshot EBS. Snapshot ini dapat dipulihkan di cloud.
AWS Direct Connect
Pelanggan memilih koneksi fisik khusus Direct Connect untuk mempercepat transfer jaringan antara pusat data mereka dan pusat data AWS.
AWS Direct Connect memungkinkan Anda membuat sambungan jaringan khusus antara jaringan Anda dan salah satu lokasi AWS Direct Connect. Dengan memanfaatkan VLAN 802.1q standar industri, sambungan khusus ini dapat dibagi menjadi beberapa antarmuka virtual. Hal ini memungkinkan Anda menggunakan sambungan yang sama untuk mengakses sumber daya publik seperti objek yang disimpan dalam Amazon S3 menggunakan ruang alamat IP publik, dan sumber daya pribadi seperti instans Amazon EC2 yang berjalan dalam Amazon Virtual Private Cloud (VPC) menggunakan ruang IP pribadi, selagi menjaga pembagian jaringan antar-lingkungan publik dan pribadi. Antarmuka virtual dapat dikonfigurasi ulang kapan pun untuk memenuhi perubahan keperluan Anda.
Jelajahi Bundel AWS Direct Connect Partner kami yang membantu memperluas teknologi lokal ke cloud.
Transfer data online
Layanan ini menyederhanakan dan memudahkan transfer data ke dalam dan ke luar AWS melalui metode online.
AWS DataSync
AWS DataSync adalah layanan transfer data yang memudahkan Anda untuk mengotomatisasi pemindahan data antara penyimpanan lokal dan Amazon S3, Amazon Elastic File System (Amazon EFS), atau Amazon FSx for Windows File Server. DataSync secara otomatis menangani banyak tugas terkait transfer data yang dapat memperlambat migrasi atau membebani operasi IT Anda, termasuk menjalankan instans Anda sendiri, menangani enkripsi, mengelola skrip, mengoptimalkan jaringan, dan validasi integritas data. Anda dapat menggunakan DataSync untuk transfer data hingga 10 kali lebih cepat daripada alat sumber terbuka. Anda dapat menggunakan DataSync untuk menyalin data melalui AWS Direct Connect atau tautan internet ke AWS untuk migrasi data sekaligus, alur kerja pemrosesan data berulang, dan replikasi otomatis untuk perlindungan dan pemulihan data.
AWS Transfer Family
AWS Transfer Family memberikan dukungan yang dikelola sepenuhnya untuk transfer file secara langsung ke dan dari Amazon S3. Dengan dukungan untuk Secure File Transfer Protocol (SFTP), File Transfer Protocol over SSL (FTPS), dan File Transfer Protocol (FTP), AWS Transfer Family membantu Anda memigrasikan alur kerja transfer file dengan lancar ke AWS dengan mengintegrasikan sistem autentikasi yang ada, dan menyediakan perutean DNS dengan Amazon Route 53, sehingga tidak ada perubahan untuk pelanggan dan mitra Anda, serta aplikasi mereka. Dengan data di Amazon S3, Anda dapat menggunakannya dengan layanan AWS untuk pemrosesan, analitik, machine learning, dan pengarsipan. Mulai menggunakan AWS Transfer Family merupakan hal yang mudah; tidak ada infrastruktur yang harus dibeli dan disiapkan.
Amazon S3 Transfer Acceleration
Amazon S3 Transfer Acceleration membuat transfer internet publik ke Amazon S3 menjadi lebih cepat. Anda dapat memaksimalkan bandwith yang tersedia, terlepas jarak atau berbagai kondisi internet. Selain itu, tidak ada klien spesial atau pun protokol jaringan khusus. Cukup ubah titik akhir yang Anda gunakan dengan bucket S3 Anda dan akselerasi otomatis diterapkan.
Ini sangat ideal untuk tugas berulang yang melakukan perjalanan di seluruh dunia, seperti unggahan media, pencadangan, dan tugas pemrosesan data lokal yang dikirim secara reguler ke lokasi pusat.
AWS Snowcone
AWS Snowcone adalah anggota terkecil dari AWS Snow Family perangkat komputasi dan transfer data edge. Snowcone itu portabel, tangguh, dan aman. Anda dapat menggunakan Snowcone untuk mengumpulkan, memproses, dan memindahkan data ke AWS secara online dengan AWS DataSync. Menjalankan aplikasi di lingkungan yang terputus dan lokasi edge yang terhubung dapat menjadi tantangan karena lokasi ini sering kekurangan ruang, daya, dan pendinginan yang diperlukan untuk peralatan IT pusat data. AWS Snowcone menyimpan data dengan aman di lokasi edge, dan dapat menjalankan beban kerja komputasi edge yang menggunakan AWS IoT Greengrass atau instans Amazon EC2. Perangkat Snowcone kecil dan memiliki berat 4,5 lbs. (2,1 kg), sehingga Anda dapat membawanya di ransel atau memasangnya di ruang sempit untuk IoT, kendaraan, atau bahkan kasus penggunaan drone.
Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose adalah cara paling mudah untuk memuat data streaming ke AWS. Solusi ini dapat menangkap dan secara otomatis memuat data streaming ke dalam Amazon S3 dan Amazon Redshift, memungkinkan analitik hampir real-time dengan alat inteligensi bisnis yang sudah ada dan dasbor yang sudah Anda gunakan saat ini. Ini adalah layanan terkelola sepenuhnya yang menskalakan otomatis untuk menyesuaikan throughput data Anda dan tidak memerlukan administrasi berkelanjutan. Ini juga bisa melakukan batch, kompresi, dan enkripsi data sebelum memuatnya, meminimalkan jumlah penyimpanan yang digunakan di tujuan dan meningkatkan keamanan. Anda dapat dengan mudah membuat stream penyampaian Firehose dari AWS Management Console, mengonfigurasinya dengan beberapa klik, dan mulai mengirim data ke stream dari ratusan ribu sumber data untuk dimuat secara berkelanjutan ke AWS – hanya dalam hitungan menit.
Produk Partner APN
AWS telah bermitra dengan sejumlah vendor industri dalam peralatan gateway fisik yang menjembatani jarak antara pencadangan tradisional dan cloud. Hubungkan data lokal ke cloud Amazon untuk membuat pergerakan tanpa memberi dampak pada kinerja dan mempertahankan katalog pencadangan yang sudah ada.
- Mudah diintegrasikan ke dalam infrastruktur yang ada
- Dapat menawarkan deduplikasi, kompresi, enkripsi, atau akselerasi WAN
- Membuat cache pencadangan terkini secara lokal, memindahkan segala hal ke AWS Cloud
Transfer data offline
AWS Snow Family memudahkan Anda mentransfer data ke dalam dan ke luar AWS melalui metode AWS.
AWS Snowcone
AWS Snowcone adalah anggota terkecil dari AWS Snow Family perangkat komputasi dan transfer data edge. Snowcone itu portabel, tangguh, dan aman. Anda dapat menggunakan Snowcone untuk mengumpulkan, memproses, dan memindahkan data ke AWS secara offline dengan mengirimkan perangkat. Menjalankan aplikasi di lingkungan yang terputus dan lokasi edge yang terhubung dapat menjadi tantangan karena lokasi ini sering kekurangan ruang, daya, dan pendinginan yang diperlukan untuk peralatan IT pusat data. AWS Snowcone menyimpan data dengan aman di lokasi edge, dan dapat menjalankan beban kerja komputasi edge yang menggunakan AWS IoT Greengrass atau instans Amazon EC2. Perangkat Snowcone kecil dan memiliki berat 4,5 lbs. (2,1 kg), sehingga Anda dapat membawanya di ransel atau memasangnya di ruang sempit untuk IoT, kendaraan, atau bahkan kasus penggunaan drone.
AWS Snowball
AWS Snowball adalah perangkat pemindahan data skala petabyte dan komputasi edge yang menyertakan penyimpanan internal serta kemampuan komputasi, dan tersedia dalam dua opsi. Perangkat Snowball Edge Storage Optimized menyediakan penyimpanan blok dan penyimpanan objek yang kompatibel untuk Amazon S3 dan 40 vCPU. Perangkat ini cocok untuk penyimpanan lokal dan transfer data berskala besar. Snowball Edge Compute Optimized memberikan 52 vCPU, penyimpanan blok dan objek, serta GPU opsional untuk kasus penggunaan seperti machine learning lanjutan dan analisis video gerakan penuh di lingkungan yang tidak terhubung. Anda dapat menggunakan perangkat ini untuk pengumpulan, machine learning dan pemrosesan, serta penyimpanan data di lingkungan dengan konektivitas yang tidak stabil (seperti manufaktur, industri, dan transportasi) atau di lokasi yang sangat terpencil (seperti operasi militer atau maritim) sebelum mengirimkannya kembali ke AWS. Perangkat ini juga dapat dipasang di rak dan diklaster menjadi satu untuk membangun instalasi sementara yang lebih besar.
Alat migrasi data cloud tidak terkelola
AWS juga menawarkan skrip mudah atau alat CLI untuk memindahkan data dari situs Anda ke penyimpanan AWS cloud.
rsync
Pelanggan menggunakan rsync, sebuah alat sumber terbuka, bersamaan dengan alat sistem file pihak ketiga untuk menyalin data secara langsung ke dalam bucket S3.
Antarmuka baris perintah S3
Pelanggan menggunakan CLI Amazon S3 untuk menulis perintah guna memindahkan data secara langsung ke dalam bucket S3.
Antarmuka baris perintah S3 Glacier
Pelanggan menggunakan CLI Glacier Amazon S3 untuk memindahkan data ke dalam vault S3 Glacier.
Tantangan yang umum ditemukan dalam migrasi data cloud
Kenyataan yang menakutkan dari transportasi data berlaku untuk sebagian besar proyek. Bagaimana cara memindahkan data dari lokasi saat ini ke cloud baru Anda dengan lancar, sembari meminimalkan gangguan, biaya, dan waktu? Apa cara yang paling efisien untuk benar-benar memindahkan data Anda dalam ukuran GB, TB, atau PB?
Ini adalah masalah yang paling mendasar: berapa data yang dapat dipindahkan, seberapa jauh, dan seberapa cepat? Untuk skenario kasus terbaik, gunakan rumus ini:
Jumlah Hari = (Total Byte)/(Megabit per detik * 125 * 1000 * Penggunaan Jaringan * 60 detik * 60 menit * 24 jam)
Sebagai contoh, jika Anda memiliki koneksi T1 (1,544Mbps) dan 1TB (1024 * 1024 * 1024 * 1024 byte) untuk dipindahkan masuk atau keluar AWS, secara teoretis, waktu minimum yang diperlukan untuk memuat melalui koneksi jaringan Anda pada 80% penggunaan jaringan adalah selama 82 hari.
Tenang. Kami pernah melakukannya sebelumnya. Kami menemukan bahwa pelanggan melakukan pendekatan ini melalui dua cara: mereka menggunakan alat migrasi tidak terkelola yang sangat dasar untuk memindahkan data atau mereka memilih salah satu rangkaian layanan AWS yang disebutkan di atas.
Sebagai aturan umum, untuk hasil terbaik, kami menyarankan:
| Koneksi | Penskalaan Data | Metode |
|---|---|---|
| Kurang dari 10 Mbps | Kurang dari 500 GB | Tidak terkelola |
| Lebih dari 10 Mbps | Lebih dari 500 GB | Layanan terkelola |