Tabel Amazon S3

Optimalkan performa kueri dan biaya saat skala danau data Anda makin besar

Simpan data yang tersusun di tabel dalam skala besar di S3

Tabel Amazon S3 menghadirkan penyimpanan objek cloud pertama dengan dukungan Apache Iceberg bawaan dan menyederhanakan penyimpanan data yang tersusun di tabel dalam skala besar. Optimisasi tabel berkelanjutan secara otomatis memindai dan menulis ulang data tabel di latar belakang, sehingga mencapai performa kueri hingga 3x lebih cepat dibandingkan dengan tabel Iceberg yang tidak terkelola. Optimisasi performa ini akan terus meningkat dari waktu ke waktu. Selain itu, Tabel S3 mencakup optimisasi khusus untuk beban kerja Iceberg yang memberikan transaksi per detik hingga 10x lebih tinggi dibandingkan dengan tabel Iceberg yang disimpan dalam bucket S3 tujuan umum. Untuk detail selengkapnya tentang peningkatan performa kueri Tabel S3, lihat blog.

Dengan dukungan Tabel S3 untuk standar Apache Iceberg, data tabular Anda dapat dengan mudah dikueri oleh AWS dan mesin kueri pihak ketiga yang populer. Gunakan Tabel S3 untuk menyimpan data yang disusun di tabel, seperti transaksi pembelian harian, data sensor streaming, atau tayangan iklan sebagai tabel Iceberg di S3, dan optimalkan performa dan biaya seiring berkembangnya data menggunakan pemeliharaan tabel otomatis. Baca blog untuk mempelajari selengkapnya.

Manfaat

Sederhanakan danau data dalam skala apa pun, baik Anda baru memulai atau mengelola ribuan tabel di lingkungan Iceberg Anda.

Dapatkan performa kueri hingga 3x lebih cepat melalui optimisasi tabel berkelanjutan dibandingkan dengan tabel Iceberg yang tidak terkelola, dan transaksi per detik hingga 10x lebih tinggi dibandingkan tabel Iceberg yang disimpan dalam bucket S3 tujuan umum.

Lakukan tugas pemeliharaan tabel terus-menerus, seperti pemadatan, manajemen snapshot, dan penghapusan file tanpa referensi untuk secara otomatis mengoptimalkan efisiensi kueri dan biaya dari waktu ke waktu.

Akses kemampuan analitik Iceberg tingkat lanjut dan lakukan kueri data menggunakan layanan AWS yang sudah dikenal, seperti Amazon Athena, Redshift, dan EMR melalui integrasi Tabel S3 dengan Amazon SageMaker Lakehouse. Selain itu, Anda dapat menggunakan aplikasi pihak ketiga yang kompatibel dengan Iceberg REST seperti Apache Spark, Apache Flink, Trino, DuckDB, dan PyIceberg, untuk membaca dan menulis data ke dalam Tabel S3.

Buat tabel sebagai sumber daya AWS kelas satu dan terapkan izin untuk mengatur akses ke tabel dengan mudah.

Cara kerjanya

Tabel S3 menyediakan penyimpanan S3 yang dibuat khusus untuk menyimpan data terstruktur dalam format Apache Parquet. Dalam bucket tabel, Anda dapat membuat tabel sebagai sumber daya kelas satu langsung di S3. Tabel ini dapat dilindungi dengan izin tingkat tabel yang ditentukan dalam kebijakan berbasis identitas atau sumber daya dan dapat diakses oleh aplikasi atau alat yang mendukung standar Apache Iceberg. Saat Anda membuat tabel di bucket tabel Anda, data yang mendasarinya di S3 disimpan sebagai data Parquet. Kemudian, S3 mempertahankan metadata yang diperlukan agar data Parquet dapat dikueri oleh aplikasi Anda. Bucket tabel menyertakan pustaka klien yang digunakan oleh mesin kueri untuk menavigasi dan memperbarui metadata Iceberg tabel di bucket tabel Anda. Pustaka ini, bersama dengan API S3 yang diperbarui untuk operasi tabel, memungkinkan beberapa klien membaca dan menulis data dengan aman ke tabel Anda. Seiring waktu, S3 secara otomatis mengoptimalkan data Parquet yang mendasarinya dengan menulis ulang, atau "memadatkan" objek Anda. Pemadatan mengoptimalkan data Anda di S3 untuk meningkatkan kinerja kueri dan meminimalkan biaya. Baca panduan pengguna untuk mempelajari selengkapnya

Video demo Tabel Amazon S3

Pelanggan

  • Genesys

    Genesys adalah perusahaan layanan cloud global yang terdepan dalam Orkestrasi Pengalaman Bertenaga AI. Melalui kemampuan AI, digital, dan manajemen keterlibatan tenaga kerja yang canggih, Genesys membantu lebih dari 8.000 organisasi di lebih dari 100 negara untuk memberikan pengalaman pelanggan dan karyawan yang dipersonalisasi dan berempat sekaligus memanfaatkan peningkatan kelincahan dan hasil bisnis.

    Tabel Amazon S3 akan menjadi tambahan transformatif untuk arsitektur data kami, terutama dengan dukungan Iceberg terkelola, yang secara efektif menciptakan lapisan tampilan terwujud untuk beragam kebutuhan analisis data. Penawaran ini berpotensi membantu Genesys menyederhanakan alur kerja data yang kompleks dengan menghilangkan lapisan tambahan manajemen tabel, dengan S3 menangani tugas-tugas pemeliharaan utama, seperti pemadatan, manajemen snapshot, dan pembersihan file tanpa referensi secara otomatis. Kemampuan membaca dan menulis Tabel Iceberg langsung dari S3 akan membantu kami meningkatkan kinerja dan menciptakan kemungkinan baru untuk mengintegrasikan data secara mulus di seluruh ekosistem analitik kami. Interoperabilitas ini, dikombinasikan dengan peningkatan performa, menempatkan Tabel S3 sebagai bagian penting dari strategi masa depan kami untuk menyuguhkan wawasan data yang cepat, fleksibel, dan andal.

    Glenn Nethercutt, Chief Technology Officer - Genesys
  • Pendulum

    Pendulum adalah platform Brand Intelligence yang memiliki cakupan paling komprehensif di dunia untuk konten video, audio, dan teks guna mengidentifikasi risiko dan peluang secara proaktif, sehingga memungkinkan pengambilan keputusan dan pemantauan analitik yang lebih baik di seluruh perusahaan.

    Di Pendulum Intelligence, kami menganalisis data dari ratusan juta kanal sosial dan sumber lainnya. Tabel Amazon S3 telah mengubah cara kami mengelola danau data, yang memproses ribuan jam konten video dan audio yang dianalisis sambil mengekstrak konteks dari gambar dan media lain mendekati waktu nyata dengan menggunakan alat machine learning eksklusif kami. Dengan menghilangkan beban pengelolaan tabel, termasuk pemadatan, snapshot, dan pembersihan file, tim kami dapat fokus pada hal yang paling penting: memperoleh wawasan yang dapat ditindaklanjuti dari set data yang besar. Integrasi tanpa batas dengan tumpukan analitik kami—Amazon Athena, AWS Glue, dan Amazon EMR—telah secara signifikan meningkatkan kemampuan kami untuk memproses data kompleks dalam skala besar.

    Abdurrahman Elbuni, Cloud Big Data Architect - Pendulum
  • SnapLogic

    SnapLogic adalah pelopor dalam integrasi yang dipandu AI. Platform SnapLogic untuk Integrasi Generatif mempercepat transformasi digital di seluruh perusahaan untuk mendesain, melakukan deployment, dan mengelola agen AI dan integrasi yang mengotomatiskan tugas, membuat keputusan waktu nyata, dan mengintegrasikan dengan mudah ke dalam alur kerja yang ada.

    Tabel Amazon S3, dengan dukungan Apache Iceberg bawaan dan integrasi layanan Analitik AWS, yang membantu perusahaan mengoptimalkan biaya analitik data sekaligus mengubah cara mereka menggunakan data bisnis untuk analisis, kepatuhan, dan inisiatif AI. Dengan mengotomatiskan tugas manajemen data yang kompleks dan menyediakan jejak audit lengkap dari perubahan data, tim dapat langsung menganalisis data historis, mempertahankan kepatuhan terhadap peraturan, dan mempercepat dihasilkannya wawasan bisnis sekaligus mengurangi biaya teknologi secara signifikan.

    Dominic Wellington, Enterprise Architect - SnapLogic
  • Zus Health

    Zus adalah platform data kesehatan bersama yang dirancang untuk mempercepat interoperabilitas data layanan kesehatan dengan menyediakan data pasien yang mudah digunakan melalui API, komponen tertanam, dan integrasi EHR langsung.

    Sebagai perusahaan layanan kesehatan yang menangani sejumlah besar data pasien yang sering berubah, kami memutuskan untuk berinvestasi di Apache Iceberg karena dengan Apache Hive, beragam masalah seputar partisi dan otomatisasi dapat diselesaikan, dengan manfaat tambahan dari interoperabilitas yang lebih luas. Salah satu tantangan terbesar kami dengan Iceberg adalah memahami dan mengelola pengoptimalan tabel. Inilah sebabnya kami senang menyambut Tabel S3 dan kemampuan pengoptimalan terkelola. Jika mampu menurunkan overhead developer dari pemeliharaan tabel, kami akan bisa lebih fokus untuk menghadirkan data berkualitas tinggi dan wawasan berharga kepada pelanggan kami.

    Sonya Huang, Consulting Software Engineer - Zus Health

Partner dan integrasi

  • Daft

    Daft adalah mesin terpadu untuk rekayasa data, analitik, dan ML/AI, yang mengekspos antarmuka SQL dan Python DataFrame sebagai perangkat kelas satu dan ditulis dalam Rust. Daft memberikan pengalaman interaktif lokal yang tajam dan menyenangkan, sekaligus juga menskalakan beban kerja terdistribusi berskala petabyte dengan lancar.

    Tabel Amazon S3 adalah pelengkap sempurna bagi dukungan Daft untuk Apache Iceberg. Dengan memanfaatkan integrasinya dengan AWS Lake Formation dan AWS Glue, kami dapat dengan mudah memperluas kemampuan baca dan tulis Iceberg kami yang ada ke Tabel S3, sekaligus memanfaatkan performanya yang telah dioptimalkan. Kami menantikan evolusi layanan baru ini, dan kami sangat senang untuk memberikan dukungan Tabel S3 terbaik di kelasnya untuk ekosistem Rekayasa Data Python & ML/AI.

    Sammy Sidhu, CEO & Co-Founder - Daft
  • Dremio

    Dremio adalah platform lakehouse cerdas, yang mempercepat AI dan analitik dengan menawarkan mesin SQL yang terdepan di pasar, katalog data yang terbuka dan memiliki interoperabilitas, serta platform yang aman, dapat diskalakan, dan mudah digunakan. Kepemimpinan kami di komunitas Apache Iceberg, Apache Polaris (inkubasi), dan Apache Arrow memberdayakan organisasi untuk membangun arsitektur lakehouse yang sepenuhnya terbuka dan mempunyai performa tinggi dengan tetap mempertahankan fleksibilitas dan kontrol—sehingga menghilangkan keterikatan dengan vendor.

    Dremio dengan senang hati mendukung ketersediaan umum Tabel Amazon S3. Dengan mendukung spesifikasi Apache Iceberg REST Catalog (IRC), Tabel S3 memastikan interoperabilitas yang lancar dengan Dremio, sehingga pengguna dapat memperoleh manfaat dari mesin SQL performa tinggi yang mampu mengkueri tabel Apache Iceberg yang dikelola dalam bucket tabel S3 yang dioptimalkan. Kolaborasi ini memperkuat pentingnya standar terbuka dalam ekosistem lakehouse, dengan menghilangkan kompleksitas integrasi dan mempercepat adopsi pelanggan. Dengan Tabel Amazon S3 dan dukungan IRC, organisasi mendapatkan fleksibilitas dan pilihan yang dibutuhkan untuk membangun arsitektur lakehouse terpadu di era AI.

    James Rowland-Jones, VP, Product - Dremio
  • DuckDB Labs

    DuckDB Labs adalah perusahaan yang didirikan oleh pencipta DuckDB, alat perapihan data universal yang populer. Perusahaan ini menggunakan kontributor inti untuk sistem DuckDB. DuckDB adalah perangkat lunak Gratis dan Sumber Terbuka di bawah lisensi MIT dan diatur oleh DuckDB Foundation yang merupakan organisasi nirlaba independen. Proyek DuckDB menjadikan pemrosesan analitis cepat tersedia untuk khalayak luas melalui kemudahan penggunaan dan portabilitasnya.

    Tabel Amazon S3 benar-benar selaras dengan visi DuckDB untuk mendemokratisasi analitik data menggunakan format file terbuka. Kolaborasi antara AWS dan DuckDB Labs memungkinkan kami untuk lebih memperluas dukungan Iceberg di DuckDB dan mengembangkan integrasi secara lancar dengan Tabel S3. Kami percaya mentalitas DuckDB dan Tabel S3 yang telah dilengkapi baterai bersama digabungkan dengan tumpukan analitik kuat dapat menangani berbagai beban kerja sekaligus mempertahankan hambatan masuk yang sangat rendah.

    Hannes Mühleisen, Direktur Utama - DuckDB Labs
  • HighByte

    HighByte adalah perusahaan perangkat lunak industri yang menangani arsitektur data dan tantangan integrasi yang dihadapi oleh produsen global saat mereka bertransformasi secara digital. HighByte Intelligence Hub, perangkat lunak Industrial DataOps yang telah terbukti milik perusahaan tersebut, menyediakan data yang sudah dimodelkan dan siap digunakan di layanan cloud AWS dengan menggunakan antarmuka tanpa kode untuk mempercepat waktu integrasi dan mempercepat analitik.

    Tabel Amazon S3 adalah fitur baru yang kuat yang mengoptimalkan pengelolaan, performa, dan penyimpanan data tabular untuk beban kerja analitik. Integrasi langsung HighByte Intelligence Hub dengan Tabel Amazon S3 memudahkan manufaktur global untuk membangun danau data transaksional yang terbuka untuk data industri mereka. Tabel S3 memungkinkan pelanggan mengueri data Parquet mentah secara instan, sehingga mereka dapat mengirim informasi kontekstual dari edge ke cloud untuk langsung digunakan tanpa perlu pemrosesan atau transformasi tambahan. Hal ini berdampak besar pada performa dan pengoptimalan biaya untuk pelanggan kami.

    Aron Semle, Chief Technology Officer - HighByte
  • PuppyGraph

    PuppyGraph adalah mesin kueri grafik nol-ETL waktu nyata yang pertama, sehingga tim data dapat mengkueri lakehouse yang ada sebagai grafik dalam hitungan menit, tanpa migrasi atau pemeliharaan yang mahal. PuppyGraph menskalakan ke set data berukuran petabyte dan mengeksekusi kueri multi-hop yang kompleks dalam hitungan detik, sehingga mendukung berbagai kasus penggunaan mulai dari deteksi penipuan hingga keamanan siber dan wawasan berbasis AI.

    Amazon S3 telah lama menjadi fondasi infrastruktur data modern, dan peluncuran Tabel S3 menandai sebuah tonggak penting yaitu membawa Apache Iceberg lebih dekat untuk menjadi standar universal untuk data dan AI. Inovasi ini memungkinkan organisasi untuk memanfaatkan format tabel terbuka performa tinggi di S3, yang memungkinkan analitik multimesin tanpa duplikasi data. Untuk pelanggan PuppyGraph, hal ini berarti bahwa mereka sekarang dapat menjalankan kueri grafik waktu nyata secara langsung pada data S3 mereka, dengan tetap mempertahankan wawasan yang segar dan dapat diskalakan tanpa overhead ETL yang kompleks. Kami senang menjadi bagian dari evolusi ini, membuat analitik grafik selancar data itu sendiri.

    Weimo Liu, Co-founder & CEO - PuppyGraph
  • Snowflake

    Snowflake membuat AI korporasi jadi mudah, terhubung, dan tepercaya. Ribuan perusahaan di seluruh dunia, termasuk ratusan perusahaan terbesar di dunia, menggunakan Cloud Data AI Snowflake untuk berbagi data, membangun aplikasi, dan menggerakkan bisnis mereka dengan AI.

    Kami senang dapat menghadirkan keajaiban Snowflake ke Tabel Amazon S3. Kolaborasi ini memungkinkan pelanggan Snowflake untuk membaca dan memproses data yang disimpan di Tabel S3 dengan lancar menggunakan pengaturan Snowflake yang sudah ada, sehingga tidak membutuhkan migrasi atau duplikasi data yang kompleks. Dengan menggabungkan kemampuan analitik performa kelas dunia dari Snowflake dengan penyimpanan Tabel Amazon S3 Apache Iceberg yang efisien, organisasi dapat dengan mudah mengkueri dan menganalisis data tabular yang disimpan di Amazon S3.

    Rithesh Makkena, Global Director of Partner Solutions Engineering - Snowflake
  • Starburst

    Starburst mendukung arsitektur data dasar yang dibutuhkan oleh analitik, AI, dan aplikasi data. Starburst menggunakan lakehouse data hibrida yang didukung oleh Apache Iceberg untuk memberikan akses, kolaborasi, dan tata kelola dalam skala besar.

    Kami sangat senang melihat Amazon S3 memperkenalkan dukungan bawaan untuk Apache Iceberg dengan Tabel S3, sehingga memajukan ekosistem Iceberg Open Data Lakehouse. Dengan bucket tabel S3, kami berharap dapat berkolaborasi dengan AWS untuk membantu para pelanggan kami menghadirkan kekuatan Open Lakehouse, didukung oleh Trino yang dioptimalkan, yaitu mesin SQL MPP sumber terbuka terkemuka, di berbagai analitik dan kasus penggunaan AI ke data di Amazon S3.

    Matt Fuller, Vice President, Product - Starburst
  • StreamNative

    StreamNative adalah platform perpesanan dan streaming yang mendukung AI dan analitik dengan penyerapan data performa tinggi yang hemat biaya. Mesin StreamNative Ursa memungkinkan perusahaan mengurangi total biaya kepemilikan (TCO) hingga 90% dengan kompatibilitas Kafka, sebuah arsitektur tanpa pemimpin dan penyimpanan native lakehouse, yang membuat data siap AI dapat diakses dalam skala besar.

    Integrasi kami dengan Tabel Amazon S3 membuat data waktu nyata yang siap digunakan dengan AI menjadi lebih terbuka dan dapat diakses dari sebelumnya. Arsitektur tanpa pemimpin Ursa di S3 sudah mengurangi biaya penyimpanan, dan integrasi langsung dengan Tabel S3 makin meningkatkan performa dan efisiensi. Dalam dunia yang digerakkan oleh AI, tata kelola data sangat penting. Di StreamNative, kami berkomitmen untuk membantu bisnis mengurangi TCO hingga 90% sekaligus membuat pembangunan aplikasi bertenaga AI menjadi mudah dan terjangkau dengan data waktu nyata yang terkelola.

    Sijie Guo, CEO & Co-Founder - StreamNative