Instans P4 Amazon EC2

Performa tinggi untuk pelatihan ML dan aplikasi HPC di cloud

Instans P4d Amazon Elastic Compute Cloud (Amazon EC2) menghadirkan performa yang tinggi untuk pelatihan machine learning (ML) dan aplikasi komputasi performa tinggi (HPC) di cloud. Instans P4d didukung oleh GPU NVIDIA A100 Tensor Core terbaru dan menghasilkan throughput tinggi serta jaringan latensi rendah yang terdepan di industri. Instans ini mendukung jaringan instans 400 Gbps. Instans P4d menawarkan biaya yang lebih rendah hingga 60% untuk melatih model ML, termasuk rata-rata performa 2,5x lebih baik untuk model deep learning dibandingkan dengan instans P3 dan P3dn generasi sebelumnya.

Deployment instans P4d dilakukan di klaster berskala sangat besar yang disebut dengan Amazon EC2 UltraClusters yang terdiri dari komputasi, jaringan, dan penyimpanan dengan performa terbaik di cloud. Setiap EC2 UltraCluster adalah komputer super yang tercanggih di dunia yang memungkinkan pelanggan menjalankan pelatihan ML multisimpul dan beban kerja HPC terdistribusi yang paling kompleks. Anda dapat dengan mudah menskalakan hingga ribuan GPU NVIDIA A100 di EC2 UltraClusters berdasarkan kebutuhan proyek ML atau HPC Anda.

Peneliti, ilmuwan data, dan developer dapat menggunakan instans P4d untuk melatih model ML untuk berbagai kasus penggunaan seperti pemrosesan bahasa alami, deteksi dan klasifikasi objek, serta mesin rekomendasi. Mereka juga dapat menggunakannya untuk menjalankan aplikasi HPC seperti penemuan farmasi, analisis seismik, dan pemodelan keuangan. Tidak seperti sistem on-premise, Anda dapat mengakses kapasitas komputasi dan penyimpanan secara hampir tidak terbatas, menskalakan infrastruktur berdasarkan kebutuhan bisnis, dan memulai tugas pelatihan ML multisimpul atau aplikasi HPC terdistribusi yang digabungkan secara erat dalam hitungan menit, tanpa biaya penyiapan atau pemeliharaan.

Memperkenalkan Instans P4d Amazon EC2 yang baru (2:00)

Ada pertanyaan atau memerlukan bantuan terkait EC2 UltraClusters?

Minta bantuan »

Pesan instans P4d sekarang untuk penggunaan pada masa mendatang

Dengan Blok Kapasitas Amazon EC2 untuk ML, pesan instans P4d dengan mudah hingga delapan minggu sebelumnya. Anda dapat memesan instans P4d untuk durasi satu hingga 14 hari dan dalam ukuran klaster dari satu hingga 64 instans (512 GPU), yang memberikan fleksibilitas untuk menjalankan berbagai beban kerja.

Pelatihan ML dan HPC berskala tinggi dengan EC2 P4d UltraClusters

Instans P4d EC2 UltraClusters mengombinasikan HPC, jaringan, dan penyimpanan dalam salah satu komputer super yang tercanggih di dunia. Setiap EC2 UltraCluster dari instans P4d terdiri atas lebih dari 4.000 GPU NVIDIA A100 terbaru, infrastruktur jaringan tanpa pemblokiran skala petabit, dan penyimpanan latensi rendah dan throughput tinggi dengan Amazon FSx for Lustre. Setiap developer ML, peneliti, atau ilmuwan data dapat menjalankan instans P4d di EC2 UltraClusters untuk memperoleh akses ke performa kelas komputer super dengan model penggunaan bayar sesuai pemakaian untuk menjalankan pelatihan ML multisimpul dan beban kerja HPC yang paling kompleks.

Untuk pertanyaan atau bantuan terkait EC2 UltraClusters, minta bantuan.

Hanya tersedia di beberapa Wilayah AWS. Untuk informasi tentang wilayah yang didukung dan informasi tambahan tentang EC2 UltraClusters, hubungi kami.

Manfaat

Mengurangi waktu pelatihan ML dari hitungan hari menjadi menit

Dengan GPU NVIDIA A100 Tensor Core generasi terbaru, setiap instans P4d memberikan performa DL rata-rata 2,5x lebih baik dibandingkan dengan instans P3 generasi sebelumnya. Instans P4d EC2 UltraClusters membantu developer, ilmuwan data, dan peneliti menjalankan beban kerja ML dan HPC mereka yang paling kompleks setiap harinya dengan memberikan akses ke performa kelas komputer super tanpa biaya di muka atau komitmen jangka panjang. Pengurangan waktu pelatihan dengan instans P4d dapat meningkatkan produktivitas sehingga memungkinkan developer berfokus pada misi inti dalam membangun kecerdasan ML ke dalam aplikasi bisnis.

Menjalankan pelatihan ML multisimpul paling kompleks dengan efisiensi tinggi

Developer dapat dengan lancar menskalakan hingga ribuan GPU dengan instans P4d EC2 UltraClusters. Jaringan throughput tinggi dan latensi rendah dengan dukungan untuk jaringan instans 400 Gbps, Elastic Fabric Adapter (EFA), dan teknologi GPUDirect RDMA membantu melatih model ML secara cepat menggunakan teknik penskalaan ke luar/terdistribusi. EFA menggunakan NVIDIA Collective Communications Library (NCCL) untuk menskalakan ke ribuan GPU, dan teknologi GPUDirect RDMA memungkinkan komunikasi GPU ke GPU berlatensi rendah di antara instans P4d.

Menurunkan biaya infrastruktur untuk pelatihan ML dan HPC

Instans P4d menawarkan biaya hingga 60% lebih rendah untuk melatih model ML dibandingkan dengan instans P3. Selain itu, instans P4d dapat dibeli sebagai Instans Spot. Instans Spot memanfaatkan kapasitas instans EC2 yang tidak terpakai dan dapat menurunkan biaya Amazon EC2 secara signifikan dengan diskon hingga 90% dari harga Sesuai Permintaan. Dengan biaya pelatihan ML yang lebih rendah dengan instans P4d, anggaran dapat dialokasikan ulang untuk membangun lebih banyak kecerdasan ML ke aplikasi bisnis.

Memulai dan menskalakan dengan mudah menggunakan layanan AWS

AWS Deep Learning AMI (DLAMI) dan Amazon Deep Learning Containers memudahkan deployment lingkungan DL P4d dalam hitungan menit karena berisi pustaka dan alat kerangka kerja DL yang dibutuhkan. Anda juga dapat menambahkan pustaka dan alat Anda sendiri dengan mudah ke citra ini. Instans P4d mendukung kerangka kerja ML populer seperti TensorFlow, PyTorch, dan MXNet. Selain itu, instans P4d didukung oleh layanan AWS utama untuk ML, manajemen, dan orkestrasi seperti Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch, dan AWS ParallelCluster.

Fitur

Didukung oleh GPU NVIDIA A100 Tensor Core

GPU NVIDIA A100 Tensor Core menghadirkan percepatan skala besar yang belum pernah ada sebelumnya untuk ML dan HPC. Tensor Core generasi ketiga NVIDIA A100 mengakselerasi setiap beban kerja presisi sehingga mempercepat waktu untuk mendapatkan wawasan dan waktu masuk pasar. Setiap GPU A100 menawarkan lebih dari 2,5x performa komputasi dibandingkan dengan GPU V100 generasi sebelumnya dan dilengkapi dengan memori GPU performa tinggi HBM2 sebesar 40 GB (di instans P4d) atau HBM2e sebesar 80 GB (di instans P4de). Memori GPU yang lebih tinggi secara khusus memberikan manfaat untuk pelatihan beban kerja tersebut pada set data besar dari data resolusi tinggi. GPU NVIDIA A100 menggunakan throughput interkoneksi GPU NVSwitch sehingga setiap GPU dapat berkomunikasi dengan setiap GPU lainnya di instans yang sama pada throughput dua arah 600 GB/dtk yang sama dan dengan latensi hop tunggal.

Jaringan performa tinggi

Instans P4d menyediakan jaringan 400 Gbps guna membantu pelanggan untuk secara lebih baik menskalakan ke luar beban kerja terdistribusi seperti pelatihan multisimpul secara lebih efisien dengan jaringan throughput tinggi di antara instans P4d dan di antara instans P4d serta layanan penyimpanan seperti Amazon Simple Storage Service (Amazon S3) dan FSx for Lustre. EFA adalah antarmuka jaringan kustom yang didesain oleh AWS untuk membantu menskalakan aplikasi ML dan HPC ke ribuan GPU. Untuk lebih mengurangi latensi, EFA digabungkan dengan NVIDIA GPUDirect RDMA agar memungkinkan komunikasi GPU ke GPU dengan latensi rendah di antara berbagai server tanpa melalui OS.

Penyimpanan throughput tinggi dengan latensi rendah

Akses penyimpanan dengan throughput tinggi dan latensi rendah berskala petabita menggunakan FSx for Lustre atau penyimpanan hemat biaya yang hampir tidak terbatas dengan Amazon S3 pada kecepatan 400 Gbps. Untuk beban kerja yang memerlukan akses cepat ke set data besar, setiap instans P4d juga menyertakan penyimpanan SSD berbasis NVMe sebesar 8 TB dengan throughput baca 16 GB/dtk.

Dibangun di AWS Nitro System

Instans P4d dibangun di AWS Nitro System, yang merupakan kumpulan kaya atas komponen dasar yang mengalihkan beban berbagai fungsi virtualisasi konvensional ke perangkat keras dan perangkat lunak khusus untuk memberikan performa tinggi, ketersediaan tinggi, dan keamanan tinggi sekaligus mengurangi overhead virtualisasi.

Kisah pelanggan

Toyota Research Institute (TRI), yang didirikan pada tahun 2015, sedang mengembangkan kemudi otomatis, robotika, dan teknologi amplifikasi manusia lainnya untuk Toyota.

“Di TRI, kami berupaya membangun masa depan yang memungkinkan setiap orang memiliki kebebasan untuk bergerak. Instans P3 generasi sebelumnya telah membantu kami mengurangi waktu untuk melatih model ML dari hitungan hari ke jam, dan kami berharap dapat memanfaatkan instans P4d karena memori GPU tambahan dan format float yang lebih efisien akan memungkinkan tim machine learning kami melatih dengan lebih banyak model kompleks pada kecepatan yang lebih tinggi."

Mike Garrison, Technical Lead, Infrastructure Engineering, TRI

"Di TRI-AD, kami berusaha membangun masa depan yang memungkinkan setiap orang memiliki kebebasan bergerak dan bereksplorasi dengan fokus pada pengurangan cedera dan tingkat kematian saat berkendara menggunakan kemudi adaptif dan kota cerdas. Dengan instans P4d Amazon EC2, kami dapat mengurangi waktu pelatihan untuk pengenalan objek sebesar 40% dibandingkan dengan instans GPU generasi sebelumnya tanpa modifikasi apa pun terhadap kode yang sudah ada."

Junya Inada, Director of Automated Driving (Recognition), TRI-AD

"Melalui penggunaan instans P4d Amazon EC2, kami dapat langsung mengurangi biaya pelatihan dibandingkan dengan instans GPU generasi sebelumnya sehingga memungkinkan kami meningkatkan jumlah tim yang bekerja pada pelatihan model. Peningkatan jaringan di P4d memungkinkan kami menskalakan secara efisien ke puluhan instans sehingga memberi kami ketangkasan tinggi untuk secara cepat mengoptimalkan, melatih kembali, dan melakukan deployment model di mobil uji atau lingkungan simulasi untuk pengujian lebih lanjut."

Jack Yan, Senior Director of Infrastructure Engineering, TRI-AD

GE Healthcare adalah inovator teknologi medis dan solusi digital yang terkemuka di dunia. GE Healthcare memungkinkan dokter membuat keputusan yang lebih cepat dan tepat melalui perangkat cerdas, analitik data, aplikasi, serta layanan yang didukung oleh platform cerdas mereka, Edison.

“Di GE Healthcare, kami menyediakan alat-alat yang dapat membantu dokter mengagregasikan data, menerapkan AI dan analitik ke data tersebut, serta membuka wawasan yang akan meningkatkan hasil perawatan pasien, mendorong efisiensi, dan meniadakan kesalahan. Perangkat pencitraan medis menghasilkan data dalam jumlah besar yang perlu diproses oleh para ilmuwan data kami. Dengan klaster GPU sebelumnya, dibutuhkan waktu berhari-hari untuk melatih model AI yang kompleks, seperti Progressive GAN, untuk simulasi dan menampilkan hasilnya. Menggunakan instans P4d yang baru telah mengurangi waktu pemrosesan dari hitungan hari menjadi jam. Kami mencapai kecepatan dua hingga tiga kali lebih tinggi saat melatih model dengan berbagai ukuran citra, sekaligus mencapai performa yang lebih baik beserta peningkatan ukuran batch dan produktivitas yang lebih tinggi dengan siklus pengembangan model yang lebih cepat.”

Karley Yoder, VP & GM, Artificial Intelligence, GM Healthcare

HEAVY.AI adalah pelopor dalam analitik terakselerasi. Platform HEAVY.AI digunakan dalam bisnis dan pemerintahan untuk menemukan wawasan dalam data di luar batas alat analitik utama.

“Di HEAVY.AI, kami berupaya membangun masa depan yang memungkinkan ilmu data dan analitik berpadu untuk mengurai serta mengombinasikan silo data. Pelanggan memanfaatkan data dalam jumlah besar yang dapat mencakup lokasi dan waktu untuk membangun gambaran lengkap tidak hanya tentang apa yang terjadi, tetapi juga waktu dan tempatnya melalui visualisasi terperinci data temporal spasial. Teknologi kami dapat melihat baik itu hutan maupun pepohonan. Melalui penggunaan instans P4d Amazon EC2, kami dapat mengurangi biaya deployment platform kami secara signifikan dibandingkan dengan instans GPU generasi sebelumnya sehingga memungkinkan kami untuk menskalakan set data besar secara hemat biaya. Peningkatan jaringan pada A100 telah meningkatkan efisiensi penskalaan miliaran baris data dan memungkinkan pelanggan kami mendapatkan wawasan secara lebih cepat.”

Ray Falcione, VP of US Public Sector, HEAVY.AI

Zenotech Ltd. mendefinisikan kembali rekayasa online melalui penggunaan Cloud HPC yang menghadirkan model lisensi sesuai permintaan beserta manfaat performa ekstrem dengan memanfaatkan GPU.

“Di Zenotech, kami sedang mengembangkan alat untuk memungkinkan desainer menciptakan produk yang lebih efisien dan ramah lingkungan. Kami bekerja di seluruh industri, dan alat kami memberikan wawasan performa produk yang lebih besar melalui penggunaan simulasi skala besar. Penggunaan instans P4d AWS memungkinkan kami menjalankan simulasi 3,5x lebih cepat dibandingkan dengan GPU generasi sebelumnya. Kecepatan ini secara signifikan memangkas waktu dalam memecahkan masalah sehingga memungkinkan pelanggan membawa desain ke pasar dengan lebih cepat atau melakukan simulasi fidelitas yang lebih tinggi dibandingkan sebelumnya.”

 Jamil Appa, Director dan Cofounder, Zenotech

Aon adalah perusahaan layanan profesional global terkemuka yang menyediakan berbagai solusi risiko, pensiun, dan kesehatan. Aon PathWise adalah solusi manajemen risiko HPC yang berbasis GPU dan mudah diskalakan yang dapat digunakan oleh perusahaan asuransi dan reasuransi, bank, dan dana pensiun untuk mengatasi tantangan utama yang ada saat ini seperti pengujian strategi lindung nilai, prakiraan peraturan dan ekonomi, serta penganggaran. 

“Di PathWise Solutions Group LLC, produk kami memungkinkan perusahaan asuransi, reasuransi, dan dana pensiun mengakses teknologi generasi berikutnya untuk memecahkan tantangan asuransi utama yang ada saat ini secara cepat, seperti machine learning, pengujian strategi lindung nilai, pelaporan peraturan dan keuangan, perencanaan bisnis dan prakiraan ekonomi, serta pengembangan dan penetapan harga produk baru. Melalui penggunaan instans P4d Amazon EC2, kami dapat memberikan peningkatan kecepatan yang luar biasa dalam penghitungan presisi tunggal dan ganda dibandingkan instans GPU generasi sebelumnya untuk penghitungan berat sehingga memungkinkan rentang penghitungan dan prakiraan baru dilakukan oleh klien untuk pertama kalinya. Kecepatan itu penting, dan kami terus memberikan nilai yang berarti serta teknologi terbaru kepada pelanggan berkat instans baru dari AWS.”

Van Beach, Global Head of Life Solutions, Aon Pathwise Strategy and Technology Group

Terdiri atas ahli radiologi dan AI, Rad AI membangun produk yang memaksimalkan produktivitas spesialis radiologi, yang pada akhirnya menjadikan layanan kesehatan lebih mudah diakses dan meningkatkan hasil pasien.

“Di Rad AI, kami memiliki misi untuk meningkatkan akses ke layanan kesehatan dan kualitas yang baik atas layanan tersebut untuk semua orang. Dengan berfokus pada alur kerja pencitraan medis, Rad AI menghemat waktu, mengurangi kelelahan, dan meningkatkan akurasi para spesialis radiologi. Kami menggunakan AI untuk mengotomatiskan alur kerja radiologi dan membantu menyederhanakan pelaporan radiologi. Dengan instans P4d EC2 yang baru, kami mendapati inferensi yang lebih cepat dan kemampuan untuk melatih model 2,4x lebih cepat dengan akurasi yang lebih tinggi dibandingkan dengan instans P3 generasi sebelumnya. Hal ini memungkinkan diagnosis yang lebih cepat dan akurat, serta akses yang lebih besar ke layanan radiologi berkualitas tinggi bagi pelanggan kami di seluruh AS.”

Doktor Gurson, Cofounder, Rad AI

Baca studi kasus untuk mempelajari selengkapnya »

Detail produk

Ukuran Instans vCPU Memori Instans (GiB) GPU – A100 Memori GPU Bandwidth Jaringan (Gbps) GPUDirect RDMA Peer to Peer GPU Penyimpanan Instans (GB) Bandwidth EBS (Gbps) Harga sesuai permintaan/jam Instans Cadangan 1 Tahun Efektif Per Jam * Instans Cadangan 3 Tahun Efektif Per Jam *
p4d.24xlarge 96 1152 8 320 GB
HBM2
400 ENA dan EFA Ya 600 GB/s NVSwitch 8 x 1000 NVMe SSD 19 32,77 USD 19,22 USD 11,57 USD
p4de.24xlarge (pratinjau) 96 1152 8 640 GB
HBM2e
400 ENA dan EFA Ya 600 GB/s NVSwitch 8 x 1000 NVMe SSD 19 40,96 USD 24,01 USD 14,46 USD
* Harga yang ditampilkan adalah untuk Linux/Unix di Wilayah AWS AS Timur (Virginia Utara) dan dibulatkan ke sen terdekat. Untuk detail harga lengkap, lihat harga Amazon EC2.

Instans P4d tersedia di Wilayah AS Timur (Virginia Utara dan Ohio), AS Barat (Oregon), Asia Pasifik (Seoul dan Tokyo), dan Eropa (Frankfurt dan Irlandia). Instans P4de tersedia di Wilayah AS Timur (Virginia Utara) dan AS Barat (Oregon).

Pelanggan dapat membeli instans P4d dan P4de sebagai Instans Sesuai Permintaan, Instans Terpesan, Instans Spot, dan Host Khusus, atau sebagai bagian dari Savings Plan.

Memulai menggunakan instans P4d untuk ML

Menggunakan Amazon SageMaker

Amazon SageMaker adalah layanan yang terkelola sepenuhnya untuk membangun, melatih, dan melakukan deployment model ML. Saat digunakan bersama dengan instans P4d, pelanggan dapat dengan mudah menskalakan puluhan, ratusan, atau ribuan GPU untuk melatih model secara cepat pada semua skala tanpa perlu khawatir dengan penyiapan klaster dan pipeline data.

Menggunakan DLAMI atau Deep Learning Containers

DLAMI menyediakan infrastruktur dan alat bagi praktisi serta peneliti ML untuk mempercepat DL di cloud pada semua skala. Deep Learning Containers adalah citra Docker yang sudah terinstal kerangka kerja DL untuk memudahkan deployment lingkungan ML kustom secara cepat dengan memungkinkan Anda melompati proses yang kompleks dalam membangun dan mengoptimalkan lingkungan dari awal.

Menggunakan Amazon EKS atau Amazon ECS

Jika Anda lebih memilih untuk mengelola beban kerja terkontainer Anda sendiri melalui layanan orkestrasi kontainer, Anda dapat melakukan deployment instans P4d dengan Amazon EKS atau Amazon ECS.

Memulai menggunakan instans P4d untuk HPC

Instans P4d sangat cocok untuk menjalankan simulasi rekayasa, keuangan komputasional, analisis seismik, pemodelan molekul, genomika, rendering, dan beban kerja HPC berbasis GPU lainnya. Aplikasi HPC sering kali memerlukan performa jaringan yang tinggi, penyimpanan yang cepat, memori dalam jumlah besar, kemampuan komputasi tinggi, atau semua hal tersebut. Instans P4d mendukung EFA yang memungkinkan aplikasi HPC menggunakan Antarmuka Pengalihan Pesan (MPI) untuk menskalakan ribuan GPU. AWS Batch dan AWS ParallelCluster memungkinkan developer HPC membangun dan menskalakan aplikasi HPC terdistribusi dengan cepat.

Pelajari selengkapnya »

Posting dan artikel blog

 
oleh Amr Ragab 
2 November 2020

Sumber daya tambahan

Instans P4d Amazon EC2 UltraClusters (1:59)
P4d vs. P3 Amazon EC2: Pemrosesan Bahasa Alami (0:34)
Amazon EC2 P4d vs P3: Ucapan ke teks (0:33)
Amazon EC2 P4d vs P3: Klasifikasi Gambar (0:37)

Mulai menggunakan AWS

Mendaftar akun AWS

Mendaftar akun AWS

Dapatkan akses secara instan ke AWS Tingkat Gratis.

Pelajari dengan tutorial sederhana

Pelajari dengan tutorial 10 menit

Jelajahi dan pelajari dengan tutorial sederhana.

Mulai membangun dengan EC2 di konsol

Mulai membangun di konsol

Mulai membangun dengan panduan langkah demi langkah untuk membantu Anda meluncurkan proyek AWS.