Warum Amazon EC2 P4-Instances?
P4d-Instances von Amazon Elastic Compute Cloud (Amazon EC2) bieten eine hohe Leistung für Machine Learning (ML)-Training und Anwendungen für High Performance Computing (HPC) in der Cloud. P4d-Instances werden von GPUS des NVIDIA-A100-Tensor-Core angetrieben und bieten einen branchenführenden hohen Durchsatz und eine niedrige Latenz im Netzwerk. Diese Instances unterstützen 400-Gbit/s-Instance-Netzwerke. P4d-Instances bieten bis zu 60 % niedrigere Kosten für das Training von ML-Modellen, einschließlich einer durchschnittlich 2,5 Mal besseren Leistung für Deep-Learning-Modelle im Vergleich zu P3- und P3dn-Instances der vorherigen Generation.
P4d-Instances werden in Hyperscale-Clustern namens Amazon EC2 UltraClusters bereitgestellt, die aus den leistungsstarken Computing-, Netzwerk- und Speicherleistungen in der Cloud bestehen. Jeder EC2 UltraCluster ist einer der leistungsstärksten Supercomputer der Welt, der Ihnen dabei hilft, Ihre komplexesten Multi-Knoten-ML-Trainings und verteilten HPC-Workloads auszuführen. Sie können ganz einfach von einigen wenigen bis zu Tausenden von NVIDIA-A100-GPUs in den EC2 UltraClustern basierend auf Ihren ML- oder HPC-Projektanforderungen skalieren.
Forscher, Datenwissenschaftler und Entwickler können P4D-Instances verwenden, um ML-Modelle für Anwendungsfälle wie die natürliche Sprachverarbeitung, Objekterkennung und -klassifizierung sowie Empfehlungsmaschinen zu trainieren. Sie können es auch verwenden, um HPC-Anwendungen wie pharmazeutische Forschung, seismische Analyse und Finanzmodellierung auszuführen. Im Gegensatz zu On-Premises-Systemen können Sie auf praktisch unbegrenzte Computing- und Speicherkapazität zugreifen, Ihre Infrastruktur basierend auf den Geschäftsanforderungen skalieren und einen Multi-Knoten-ML-Trainingsauftrag oder eine eng gekoppelte verteilte HPC-Anwendung innerhalb von Minuten ohne Einrichtungs- oder Wartungskosten einrichten.
Ankündigung der neuen Amazon-EC2-P4d-Instances
Vorteile
Funktionen
Kundenempfehlungen
Hier sind einige Beispiele dafür, wie Kunden und Partner ihre Geschäftsziele mit Amazon EC2 P4-Instances erreicht haben.
-
Toyota Research Institute (TRI)
Das 2015 gegründete Toyota Research Institute (TRI) arbeitet an der Entwicklung von automatisiertem Fahren, Robotik und anderen Verstärkungstechniken für Menschen für Toyota.
Bei TRI arbeiten wir daran, eine Zukunft aufzubauen, in der sich jeder frei bewegen kann. Die P3-Instances der vorherigen Generation haben uns geholfen, unsere Zeit zum Trainieren von Modellen für ML von Tagen auf Stunden zu verkürzen und wir freuen uns auf die Verwendung von P4d-Instances, da der zusätzliche GPU-Speicher und effizientere Float-Formate es unserem Team für Machine Learning ermöglichen, mit komplexeren Modellen noch schneller zu trainieren.
Mike Garrison, Technical Lead, Infrastructure Engineering, TRI -
TRI-AD
Bei TRI-AD arbeiten wir daran, eine Zukunft aufzubauen, in der jeder die Freiheit hat, sich zu bewegen und zu erkunden, mit dem Fokus darauf, Verletzungen und Todesfälle durch Fahrzeuge durch adaptives Fahren und Smart City zu reduzieren. Durch den Einsatz von Amazon-EC2-P4d-Instances konnten wir unsere Trainingszeit für die Objekterkennung im Vergleich zu GPU-Instances der vorherigen Generation um 40 % reduzieren, ohne dass vorhandene Codes geändert werden mussten.
Junya Inada, Director of Automated Driving (Recognition), TRI-AD -
TRI-AD
Durch den Einsatz von Amazon-EC2-P4d-Instances konnten wir unsere Trainingskosten im Vergleich zu GPU-Instances der vorherigen Generation sofort senken, sodass wir die Anzahl der Teams erhöhen konnten, die am Modelltraining arbeiten. Die Netzwerkverbesserungen in P4d ermöglichten es uns, effizient auf Dutzende von Instances zu skalieren, was uns erhebliche Agilität verlieh, Modelle schnell zu optimieren, neu zu trainieren und in Testfahrzeugen oder Simulationsumgebungen für weitere Tests bereitzustellen.
Jack Yan, Senior Director of Infrastructure Engineering, TRI-AD -
GE Healthcare
GE Healthcare ist ein weltweit führender Innovator für Medizintechnik und digitale Lösungen. GE Healthcare ermöglicht Ärzten, schnellere und fundiertere Entscheidungen durch intelligente Geräte, Datenanalysen, Anwendungen und Services zu treffen, die von der Edison-Intelligence-Plattform unterstützt werden.
Bei GE Healthcare bieten wir Klinikern Tools, die ihnen helfen, Daten zu aggregieren, KI und Analysen auf diese Daten anzuwenden und Erkenntnisse zu gewinnen, die die Patientenergebnisse verbessern, die Effizienz steigern und Fehler vermeiden. Unsere medizinischen Bildgebungsgeräte erzeugen riesige Datenmengen, die von unseren Datenwissenschaftlern verarbeitet werden müssen. Bei früheren GPU-Clustern würde es Tage dauern, komplexe KI-Modelle wie Progressive GANs für Simulationen zu trainieren und die Ergebnisse anzuzeigen. Durch die Verwendung der neuen P4d-Instances wurde die Verarbeitungszeit von Tagen auf Stunden reduziert. Wir haben bei Trainingsmodellen mit verschiedenen Bildgrößen eine zwei- bis dreimal höhere Geschwindigkeit festgestellt, während wir mit einer höheren Batchgröße eine bessere Leistung und mit einem schnelleren Modellentwicklungszyklus eine höhere Produktivität erzielen.
Karley Yoder, VP & GM, Artificial Intelligence, GM Healthcare -
HEAVY.AI
HEAVY.AI ist ein Pionier in der beschleunigten Analytik. Die HEAVY.AI-Plattform wird in Unternehmen und Behörden verwendet, um Erkenntnisse für Daten zu gewinnen, die über die Grenzen der gängigen Analysetools hinausgehen.
Bei HEAVY.AI arbeiten wir daran, eine Zukunft aufzubauen, in der Datenwissenschaft und Analytik zusammenlaufen, um Datensilos aufzubrechen und zu verschmelzen. Kunden nutzen ihre enormen Datenmengen, die Standort und Zeit beinhalten können, um sich nicht nur ein vollständiges Bild davon zu machen, was passiert, sondern auch wann und wo dies passiert und zwar durch eine granulare Visualisierung von räumlichen und zeitlichen Daten. Unsere Technologie ermöglicht es, sowohl den Wald als auch die Bäume zu sehen. Durch den Einsatz von Amazon-EC2-P4d-Instances konnten wir die Kosten für die Bereitstellung unserer Plattform im Vergleich zu GPU-Instances der vorherigen Generation deutlich senken und so massive Datensätze kostengünstig skalieren. Die Netzwerkverbesserungen von A100 haben unsere Effizienz bei der Skalierung auf Milliarden von Datenzeilen erhöht und es unseren Kunden ermöglicht, noch schneller Erkenntnisse zu gewinnen.
Ray Falcione, VP of US Public Sector, HEAVY.AI -
Zenotech Ltd.
Zenotech Ltd definiert Engineering online neu durch den Einsatz von HPC-Clouds, die On-Demand-Lizenzmodelle zusammen mit extremen Leistungsvorteilen durch den Einsatz von GPUs bereitstellen.
Bei Zenotech entwickeln wir die Werkzeuge, die es Designern ermöglichen, effizientere und umweltfreundlichere Produkte zu entwickeln. Wir arbeiten branchenübergreifend und unsere Tools bieten durch den Einsatz von groß angelegten Simulationen bessere Erkenntnisse für die Produktleistung.“ „Der Einsatz von AWS-P4d-Instances ermöglicht es uns, unsere Simulationen 3,5-mal schneller auszuführen als mit der vorherigen GPU-Generation. Diese Beschleunigung verkürzt unsere Lösungszeit erheblich und ermöglicht es unseren Kunden, Designs schneller auf den Markt zu bringen oder Simulationen mit höherer Genauigkeit durchzuführen, als dies bisher möglich war.
Jamil Appa, Director und Cofounder, Zenotech -
Aon
Aon ist ein weltweit führendes professionelles Dienstleistungsunternehmen, das eine breite Palette von Risiko-, Altersvorsorge- und Gesundheitslösungen anbietet. Aon PathWise ist eine GPU-basierte und skalierbare HPC-Risikoverwaltungslösung, mit der Versicherer und Rückversicherer, Banken und Pensionsfonds die wichtigsten Herausforderungen von heute wie Hedge-Strategietests, regulatorische und wirtschaftliche Prognosen sowie Budgetierung bewältigen können.
Bei PathWise Solutions Group LLC ermöglicht unser Produkt Versicherungsunternehmen, Rückversicherern und Pensionskassen den Zugang zu Technologien der nächsten Generation, um die wichtigsten Versicherungsherausforderungen von heute wie Machine Learning, Hedge-Strategietests, regulatorische und finanzielle Berichterstattung, Geschäftsplanung und Wirtschaftsprognosen und die Entwicklung neuer Produkte und Preise schnell zu lösen“. Durch den Einsatz von Amazon-EC2-P4d-Instances sind wir zum ersten Mal in der Lage, erstaunliche Geschwindigkeitsverbesserungen für Berechnungen mit einfacher und doppelter Genauigkeit gegenüber GPU-Instances der vorherigen Generation für die anspruchsvollsten Berechnungen zu erzielen. Geschwindigkeit zählt und wir bieten unseren Kunden dank der neuen Instances von AWS weiterhin einen sinnvollen Mehrwert und die neueste Technologie.
Van Beach, globaler Leiter von Life Solutions, Strategie- und Technologiegruppe von Aon Pathwise -
Rad AI
Rad AI besteht aus Radiologie- und KI-Experten und entwickelt Produkte, die die Produktivität von Radiologen maximieren und letztendlich das Gesundheitswesen zugänglicher machen und die Patientenergebnisse verbessern. Lesen Sie das Fallbeispiel, um weitere Informationen zu erhalten
Unsere Mission bei Rad AI ist es, den Zugang zu und die Qualität der Gesundheitsversorgung für alle zu verbessern. Mit einem Fokus auf den Workflow der medizinischen Bildgebung spart Rad AI Radiologen Zeit, reduziert das Vorkommen von Burnout und verbessert die Genauigkeit. „Wir verwenden KI, um radiologische Workflows zu automatisieren und die radiologische Berichterstattung zu optimieren. Mit den neuen EC2-P4d-Instances haben wir eine schnellere Inferenz und die Möglichkeit gesehen, Modelle 2,4 Mal schneller mit höherer Genauigkeit zu trainieren als bei P3-Instances der vorherigen Generation. Dies ermöglicht eine schnellere und genauere Diagnose und einen besseren Zugriff auf hochwertigen Radiologie-Services, die von unseren Kunden in den gesamten USA angeboten werden.
Doktor Gurson, Cofounder, Rad AI
Produktdetails
Instance-Größe | vCPUs | Instance-Arbeitsspeicher (GiB) | GPU – A100 | GPU-Speicher | Netzwerkbandbreite (Gbps) | GPUDirect RDMA | GPU-Peer-to-Peer | Instance-Speicher (GB) | EBS-Bandbreite (GBit/s) | On-Demand-Preis/Std. | 1 Jahr lang Reserved Instance pro Stunde* | 3 Jahr lang Reserved Instance pro Stunde* |
---|---|---|---|---|---|---|---|---|---|---|---|---|
p4d.24xlarge | 96 | 1152 | 8 | 320 GB HBM2 |
400 ENA und EFA | Ja | 600 GB/s NVSwitch | 8 x 1000 NVMe-SSD | 19 | 32,77 USD | 19,22 USD | 11,57 USD |
p4de.24xlarge (Vorschau) | 96 | 1152 | 8 | 640 GB HBM2e |
400 ENA und EFA | Ja | 600 GB/s NVSwitch | 8 x 1000 NVMe-SSD | 19 | 40,96 USD | 24,01 USD | 14,46 USD |
P4d-Instances sind in den Regionen USA Ost (Nord-Virginia und Ohio), USA West (Oregon), Asien-Pazifik (Seoul und Tokyo) und Europa (Frankfurt und Irland) verfügbar. P4de-Instances sind in den Regionen USA Ost (Nord-Virginia) und USA West (Oregon) verfügbar.
Kunden können P4d- und P4de-Instances als On-Demand-Instances, Reserved Instances, Spot Instances, Dedicated Hosts oder als Teil eines Savings Plans erwerben.
Erste Schritte mit P4d-Instances für ML
Erste Schritte mit P4d-Instances für HPC
P4d-Instances eignen sich hervorragend für die Ausführung für technische Simulationen, computergestütztes Finanzwesen, seismische Analysen, molekulare Modellierung, Genomik, Rendering und andere GPU-Rechen-Workloads. HPC-Anwendungen benötigen häufig eine hohe Netzwerkleistung, schnelle Speicherung, viel Arbeitsspeicher, hohe Datenverarbeitungskapazitäten oder alles gleichzeitig. P4d-Instances unterstützen EFA, mit dem HPC-Anwendungen, die das Message Passing Interface (MPI) verwenden, auf Tausende von GPUs skaliert werden können. AWS Batch und AWS ParallelCluster helfen HPC-Entwicklern, verteilte HPC-Anwendungen schnell zu erstellen und zu skalieren.