Integrasi data dengan AWS

Data Anda berasal dari berbagai sumber dalam berbagai format—aplikasi yang di-hosting pihak ketiga, penyimpanan data on-premise, dan penyimpanan data operasional. Layanan AWS terhubung ke ratusan sumber data termasuk Software-as-a-Service (SaaS) pihak ketiga, lokal, dan cloud lainnya. Setelah menghubungkan atau memindahkan data ke danau data, gudang, dan basis data, Anda dapat membuatnya tersedia dengan aman di seluruh organisasi Anda.

AWS Glue, salah satu dari banyak layanan integrasi data AWS, mengonsolidasikan kemampuan integrasi data utama ke dalam satu tempat termasuk penemuan data, extract, transform, and load (ETL), pembersihan, transformasi, dan katalogisasi terpusat. Solusi ini nirserver dan dapat secara otomatis menyediakan dan mengelola pekerja sesuai kebutuhan.

AWS menyediakan alat yang memenuhi kebutuhan insinyur data, pengembang ETL, dan analis bisnis, membantu pengguna di semua tingkatan teknis untuk mengeksplorasi dan bekerja dengan data mereka secara interaktif. Anda dapat mengubah data secara visual dengan antarmuka drag-and-drop di AWS Glue Studio, membersihkan dan menormalkan data dengan alat persiapan data AWS Glue DataBrew, dan menguji data menggunakan lingkungan pengembangan terintegrasi (IDE) atau notebook pilihan Anda.

Seringkali organisasi harus mendukung berbagai kerangka kerja pemrosesan data, seperti ETL, reverse ETL, dan extract, load, and transform (ELT), serta beban kerja yang berbeda seperti batch, micro-batch, dan streaming. AWS menyediakan dukungan fleksibel untuk semua kerangka kerja dan beban kerja, serta memungkinkan portabilitas dengan memanfaatkan standar sumber terbuka.

AWS membantu Anda mengakses dan mengintegrasikan data dari mana pun Anda menyimpannya, memungkinkan tim integrasi data Anda fokus pada aktivitas bernilai tinggi yang memaksimalkan nilai data Anda.

AWS Glue memudahkannya untuk menemukan, menyiapkan, dan mengintegrasikan semua data Anda pada semua skala. Layanan Migrasi Database AWS membantu memindahkan beban kerja basis data dan analitik ke AWS dengan cepat, aman, dan dengan waktu henti minimal dan tanpa kehilangan data. Amazon Managed Workflows for Apache Airflow (Amazon MWAA) menyediakan orkestrasi alur kerja terkelola yang aman dan sangat tersedia untuk Apache Airflow. AWS Data Exchange terhubung dengan data pihak ketiga dari 300+ penyedia data dan 3,500+ produk data.

Untuk kasus penggunaan kompleks di mana Anda perlu mengubah data, menormalkan data, memeriksa kualitas data sebelum menelan data dari penyimpanan data mentah, atau mengurangi kolom tabel, baris, atau ukuran data, AWS Glue memudahkan Anda menyiapkan dan mengintegrasikan data.

Untuk kasus penggunaan umum di mana ETL diulang secara teratur, Anda dapat menggunakan kemampuan AWS Zero-ETL, yang menghilangkan kebutuhan untuk membangun dan mengelola pipeline ETL. Dengan kemampuan AWS Zero-ETL, Anda dapat langsung menyerap data streaming dari Amazon Managed Streaming untuk Apache Kafka ke Amazon Redshift, menganalisis data Amazon Aurora dengan Amazon Redshift hampir secara real time, dan banyak lagi.

Pengguna di seluruh bisnis memiliki berbagai kemampuan teknis untuk berinteraksi dengan data, dan mungkin tidak dapat melakukannya tanpa alat yang tepat.

AWS menyediakan antarmuka khusus keterampilan dan alat penulisan pekerjaan untuk semua jenis pengguna, mulai dari pengembang hingga pengguna bisnis. AWS Glue Studio secara otomatis menghasilkan kode ETL, dan memungkinkan pengembang ETL dan analis bisnis mengubah data dengan antarmuka tanpa kode. AWS Glue juga memungkinkan pengembang dan insinyur menggunakan IDE, notebook, dan mesin pengolah pilihan mereka. Alur Kerja Terkelola Amazon untuk Apache Airflow memungkinkan para ilmuwan dan insinyur mengatur jalur data menyeluruh.

AWS menyediakan dukungan untuk berbagai beban kerja tanpa penguncian.

AWS Glue Studio membantu Anda membuat pekerjaan ETL yang sangat dapat diukur tanpa menjadi ahli Apache Spark, dan memuat data terstruktur dan tidak terstruktur ke gudang data dan danau data. Amazon Managed Streaming untuk Apache Kafka (MSK) dan Amazon Kinesis memudahkan untuk menelan dan memproses data streaming secara real-time. Beban kerja umum lainnya termasuk transformasi data batch, replikasi basis data, penyerapan data dari SaaS, berbagi data antar tim, dan berlangganan data pihak ketiga.