Istanze P3 di Amazon EC2
Le istanze P3 di Amazon EC2 forniscono elevate prestazioni di calcolo nel cloud con fino a 8 GPU Tensor Core NVIDIA® V100 e fino a 100 GB/s di throughput di rete per applicazioni di machine learning e HPC. Queste istanze offrono fino a un petaflop di prestazioni a precisione mista per istanza che accelera significativamente l’apprendimento automatico e le applicazioni di elaborazione ad alte prestazioni. Le istanze P3 di Amazon EC2 velocizzano in modo significativo i tempi di addestramento per l’apprendimento automatico, riducendoli da giorni a minuti, e aumentano il numero di simulazioni completate per il calcolo ad alte prestazioni di 3-4 volte.
Con una larghezza di banda di rete fino a quattro volte superiore rispetto alle istanze P3.16xlarge, le istanze P3dn.24xlarge di Amazon EC2 sono le nuove arrivate nella famiglia P3, ottimizzata per le applicazioni di machine learning e HPC distribuite. Queste istanze offrono fino a 100 Gb/s di velocità effettiva di rete, 96 vCPU Intel® Xeon® scalabile (Skylake), 8 GPU Tensor Core NVIDIA® V100 con 32 GB di memoria ciascuna e 1,8 TB di archiviazione SSD locale basata su NVMe. Le istanze P3dn.24xlarge supportano anche Elastic Fabric Adapter (EFA) che accelera le applicazioni distribuite di machine learning che utilizzano NVIDIA Collective Communications Library (NCCL). EFA è in grado di ridimensionarsi a migliaia di GPU, migliorando sensibilmente il throughput e la scalabilità dei modelli di formazione di deep learning, per ottenere risultati più rapidi.
Vantaggi
Durata dell'addestramento per l'apprendimento automatico ridotta da giorni a minuti
Per i data scientist, i ricercatori e gli sviluppatori che hanno bisogno di velocizzare le applicazioni ML, le istanze P3 di Amazon EC2 sono le più rapide nel cloud per l’addestramento ML. Le istanze P3 di Amazon EC2 presentano fino a otto GPU Tensor Core NVIDIA V100 di ultima generazione e offrono fino a un petaflop di prestazioni a precisione mista per accelerare significativamente i carichi di lavoro ML. Una formazione più rapida sui modelli può consentire a data scientist e tecnici di apprendimento automatico di eseguire iterazioni più rapide, addestrare più modelli e aumentare la precisione.
La soluzione più conveniente del settore per l’addestramento ML
Una delle istanze GPU più potenti nel cloud combinata con piani di prezzi flessibili determina una soluzione dalla straordinaria convenienza per l’addestramento del machine learning. Come per le istanze di Amazon EC2 in generale, le istanze P3 sono disponibili come istanze on demand, istanze riservate o istanze Spot. Le istanze Spot traggono vantaggio dalla capacità inutilizzata delle istanze EC2 e possono ridurre notevolmente i costi di Amazon EC2 con uno sconto fino al 70% rispetto ai prezzi on demand.
Computing ad alte prestazioni flessibile e potente
A differenza dei sistemi locali, l’esecuzione di HPC (High Performance Computing) su istanze P3 di Amazon EC2 offre una capacità praticamente illimitata di scalare l’infrastruttura fornendo flessibilità di cambiare le risorse facilmente e con la frequenza richiesta dal carico di lavoro. È possibile configurare le risorse per soddisfare le esigenze della propria applicazione e avviare un cluster HPC (High-Performance Computing) in pochi minuti e con un costo addebitato corrispondente all’uso effettivo.
Inizia subito a sviluppare
Utilizza immagini Docker pre-pacchettizzate per distribuire ambienti di apprendimento profondo in pochi minuti. Le immagini contengono le librerie (attualmente TensorFlow e Apache MXNet) e gli strumenti per i framework di apprendimento profondo necessari e sono completamente testate. Puoi aggiungere le tue librerie e i tuoi strumenti in corrispondenza di tali immagini con la massima semplicità per ottenere un grado di controllo più elevato in termini di monitoraggio, conformità ed elaborazione dei dati. Le istanze P3 di Amazon EC2 ed Amazon SageMaker funzionano perfettamente insieme fornendo una piattaforma completa e intuitiva per il machine learning. Amazon SageMaker è una piattaforma di machine learning completamente gestita che consente di creare, formare e implementare modelli di machine learning in modo semplice e rapido. Inoltre, è possibile integrare le istanze P3 di Amazon EC2 con le AMI di AWS Deep Learning con popolari framework preinstallati di apprendimento approfondito. Questo facilita e velocizza l’inizio delle operazioni di addestramento e inferenza del sistema di machine learning.
Addestramento del sistema di machine learning scalabile multinodo
Puoi utilizzare più istanze P3 di Amazon EC2 con fino a 100 GB/s di throughput di rete per addestrare rapidamente modelli di machine learning. Un throughput di rete più elevato consente agli sviluppatori di eliminare i colli di bottiglia durante il trasferimento dei dati e ricalibrare in modo efficiente le attività di addestramento dei modelli su più istanze P3. I clienti hanno ottenuto la possibilità di addestrare ResNet-50, un modello di classificazione di immagini comune, secondo l’accuratezza dello standard di settore in soli 18 minuti utilizzando 16 istanze P3. Questo livello di performance era prima irraggiungibile dalla maggior parte dei clienti ML, dal momento che richiedeva un grosso investimento CapEx per la creazione di cluster di GPU on premise. Con le istanze P3 e la relativa disponibilità tramite il modello di utilizzo on demand, questo livello di prestazioni è ora accessibile a tutti gli sviluppatori e gli ingegneri che lavorano a sistemi di machine learning. Inoltre, le istanze P3dn.24xlarge supportano Elastic Fabric Adapter (EFA), che utilizza NVIDIA Collective Communications Library (NCCL) per il ridimensionamento a migliaia di GPU.
Supporto per tutti i principali framework di machine learning
Le istanze P3 di Amazon EC2 supportano tutti i più importanti framework di apprendimento automatico, tra cui TensorFlow, PyTorch, Apache MXNet, Caffe, Caffe2, Microsoft Cognitive Toolkit (CNTK), Chainer, Theano, Keras, Gluon e Torch. Offre la flessibilità di scegliere il framework più adatto per la tua applicazione.
Testimonianze dei clienti
In Airbnb, utilizziamo l’apprendimento automatico per ottimizzare le raccomandazioni di ricerca e migliorare le linee guida dinamiche sui prezzi per i proprietari: fattori che si traducono in maggiori conversioni in prenotazioni. Con le istanze P3 di Amazon EC2, Airbnb ha la possibilità di eseguire carichi di lavoro di addestramento più rapidi, che ci permettono di eseguire maggiori iterazioni, costruire modelli di machine learning migliori e ridurre i costi.
Celgene è un'azienda biotecnologica globale che sviluppa terapie mirate abbinate alla terapia del paziente. L'azienda esegue i suoi carichi di lavoro HPC per il sequenziamento del genoma e le simulazioni chimiche di ultima generazione sulle istanze P3 di Amazon EC2. Con questa potenza di calcolo, Celgene è in grado di addestrare modelli di deep learning capaci di distinguere le cellule maligne da quelle benigne. Prima di utilizzare le istanze P3, occorrevano due mesi per eseguire attività computazionali su larga scala; oggi sono sufficienti quattro ore. La tecnologia AWS ha consentito a Celgene di accelerare lo sviluppo di terapie farmacologiche per i tumori e le patologie infiammatorie.
Hyperconnect è specializzata nell'applicazione di nuove tecnologie basate sul machine learning per l'elaborazione di immagini e video ed è stata la prima azienda a sviluppare webRTC per piattaforme mobili.
"Hyperconnect utilizza la classificazione delle immagini basata su IA nell'applicazione di comunicazione video per riconoscere l'ambiente in uso di un utente. Abbiamo ridotto il tempo di addestramento del nostro modello di ML da più di una settimana a meno di un giorno migrando dalle workstation in locale a più istanze P3 di Amazon EC2, utilizzando Horovod. Utilizzando PyTorch come framework di machine learning, siamo riusciti a distribuire velocemente i modelli e a sfruttare le librerie disponibili nella community open source".
Sungjoo Ha, direttore di AI Lab - Hyperconnect
NerdWallet è una start-up di finanza personale che fornisce strumenti e consigli ai suoi clienti per estinguere facilmente i debiti, scegliere i migliori prodotti e servizi finanziari e portare a termine grandi obiettivi, come comprare una casa o risparmiare per la pensione. L'azienda si basa principalmente su processi di data science e machine learning (ML) per fornire ai clienti prodotti finanziari personalizzati.
L'utilizzo di Amazon SageMaker e delle istanze P3 di Amazon EC2 con GPU Tensor Core V100 NVIDIA ha inoltre migliorato la flessibilità e le prestazioni di NerdWallet e ridotto il tempo necessario ai data scientist per addestrare modelli di ML. "Avevamo bisogno di mesi per lanciare e iterare i modelli, mentre ora è questione di giorni".
Ryan Kirkman, senior engineering manager - NerdWallet
Istanze P3 di Amazon EC2 e Amazon SageMaker
Il modo più veloce per addestrare ed eseguire modelli di apprendimento automatico
Amazon SageMaker è un servizio completamente gestito per la creazione, l’addestramento e la distribuzione di modelli di apprendimento automatico. È possibile utilizzare decine, centinaia o migliaia di GPU per addestrare un modello più rapidamente senza dover configurare pipeline di dati e cluster, nel caso in cui si associno all’uso di istanze P3 di Amazon EC2. Ora è possibile accedere facilmente alle risorse di Amazon Virtual Private Cloud (Amazon VPC) per i flussi di lavoro di addestramento e hosting in Amazon SageMaker. Con questa nuova funzionalità puoi utilizzare i bucket Amazon Simple Storage Service (Amazon S3), accessibili solamente attraverso il tuo VPC per l’archiviazione dei dati e inoltre per archiviare e ospitare i modelli derivati dai processi di addestramento. Oltre a S3, i modelli possono accedere a tutte le altre risorse AWS contenute nel VPC. Ulteriori informazioni.
Build
Amazon SageMaker facilita la creazione di modelli di machine learning e li predispone per l’addestramento. Fornisce tutto ciò che occorre per connettersi rapidamente ai dati di addestramento e selezionare e ottimizzare il miglior algoritmo e framework per la tua applicazione. Amazon SageMaker include notebook Jupyter in hosting, che facilitano esplorazione e visualizzazione dei dati di addestramento memorizzati in Amazon S3. È inoltre possibile utilizzare l’istanza di notebook per scrivere codice e creare lavori di modello di addestramento, distribuire modelli in hosting su Amazon SageMaker ed eseguire test o convalidare modelli.
Addestramento
Per iniziare ad addestrare il modello con Amazon SageMaker, basta un clic sulla console o una chiamata API. In Amazon SageMaker sono preconfigurate le versioni più recenti di TensorFlow e Apache MXNet e con il supporto alla libreria CUDA9 per ottenere le massime prestazioni dalle GPU NVIDIA. Inoltre, l’ottimizzazione automatica degli iperparametri permette di ottimizzare automaticamente i modelli, regolando in modo intelligente i parametri dell’algoritmo per ottenere dal modello le previsioni più accurate possibili. Per esigenze di scala maggiore, è possibile scalare a decine di istanze per consentire di creare più veloce.
Distribuzione
Una volta completato l’addestramento, basta un solo clic per la distribuzione del modello su istanze di Amazon EC2 con Auto Scaling su diverse zone di disponibilità. Nella fase di produzione, Amazon SageMaker gestisce automaticamente, al posto tuo, l’infrastruttura di elaborazione per effettuare controlli di stato, applicare patch di sicurezza ed eseguire la manutenzione di routine, grazie a monitoraggio e registrazione di log integrati con Amazon CloudWatch.
Istanze P3 di Amazon EC2 e AMI di deep learning in AWS
Ambienti di sviluppo preconfigurati per creare subito applicazioni di deep learning
Le AMI di deep learning di AWS rappresentano un'alternativa ad Amazon SageMaker per gli sviluppatori con requisiti particolari; inoltre, forniscono a professionisti e ricercatori di machine learning l'infrastruttura e gli strumenti per velocizzare il deep learning nel cloud su qualsiasi scala. È possibile lanciare rapidamente istanze P3 di Amazon EC2 con popolari framework preinstallati di deep learning, tra cui TensorFlow, PyTorch, Apache MXNet, Microsoft Cognitive Toolkit, Caffe, Caffe2, Theano, Torch, Chainer, Gluon e Keras per addestrare modelli di IA sofisticati e personalizzati, sperimentare con nuovi algoritmi o apprendere nuove competenze e tecniche. Ulteriori informazioni >>
Istanze P3 di Amazon EC2 e calcolo ad alte prestazioni
Risolvere problemi complessi di calcolo e ottenere nuove informazioni importanti utilizzando la potenza di HPC su AWS
Le istanze P3 di Amazon EC2 P3 sono una piattaforma ideale per eseguire simulazioni ingegneristiche, finanza computazionale, analisi sismiche, modellistica molecolare, genomica, renderizzazione e altri carichi di lavoro di elaborazione GPU. Il Computing ad alte prestazioni (HPC) consente agli scienziati e ai tecnici di risolvere problemi complessi che richiedono un’elaborazione intensiva. Le applicazioni HPC spesso richiedono prestazioni di rete elevate, storage veloce, grandi quantità di memoria e funzioni di elaborazione di alto livello o tutte queste caratteristiche insieme. AWS permette di migliorare la velocità di ricerca e ridurre il tempo necessario per ottenere risultati grazie all’esecuzione di HPC nel cloud e all’utilizzo di un numero di attività in parallelo che non sarebbero praticabili nella maggior parte degli ambienti locali. Ad esempio, le istanze P3dn.24xlarge supportano Elastic Fabric Adapter (EFA), che consente alle applicazioni HPC che utilizzano Message Passing Interface (MPI) di ridimensionarsi a migliaia di GPU. AWS aiuta a ridurre i costi fornendo soluzioni ottimizzate per specifiche applicazioni senza grandi investimenti di capitali iniziali. Ulteriori informazioni >>
Supporto per NVIDIA RTX Virtual Workstation
Le AMI NVIDIA RTX Virtual Workstation offrono prestazioni grafiche elevate grazie alle potenti istanze P3 con GPU NVIDIA Volta V100 in esecuzione nel cloud AWS. Queste AMI dispongono del software di grafica GPU NVIDIA più recente preinstallato insieme ai driver RTX più aggiornati e alle certificazioni NVIDIA ISV con supporto per un massimo di quattro risoluzioni desktop 4K. Le istanze P3 con GPU NVIDIA V100 combinate con le vWS RTX offrono una workstation ad alte prestazioni nel cloud con fino a 32 GB di memoria GPU, tracciamento a raggi rapidi e rendering alimentato da IA - Intelligenza Artificiale.
Le nuove AMI sono disponibili su AWS Marketplace e offrono supporto per Windows Server 2016 e Windows Server 2019.
Istanze P3dn.24xlarge di Amazon EC2
Nuove dimensioni di istanze più rapide, più potenti e più grandi, ottimizzate per machine learning e sistemi computerizzati ad alte prestazioni distribuiti
Le istanze P3dn.24xlarge di Amazon EC2 sono le istanze di dimensioni P3 più rapide, più potenti e più grandi disponibili e forniscono fino a 100 Gb/s di velocità effettiva di rete, 8 GPU Tensor Core NVIDIA® V100 con 32 GB di memoria ciascuna, 96 vCPU Intel® Xeon® scalabile (Skylake) personalizzate e 1,8 TB di archiviazione SSD basata su NVMe. Le reti più rapide, i nuovi processori, il raddoppio della memoria GPU e le vCPU aggiuntive consentono agli sviluppatori di ridurre notevolmente il tempo necessario all’addestramento dei modelli ML o di eseguire più simulazioni HPC dimensionando orizzontalmente li loro processi su varie istanze (ad es. 16, 32 o 64 istanze). I modelli di machine learning richiedono grandi quantità di dati per l’addestramento e, in aggiunta a un aumento della velocità effettiva dei dati di trasferimento tra istanze, è inoltre possibile utilizzare la velocità effettiva di rete aggiuntiva delle istanze P3dn.24xlarge per accelerare l’accesso a grandi quantità di dati di addestramento con la connessione a Simple Storage Service (Amazon S3) o soluzioni di sistemi di file condivisi, quali Amazon EFS.
Elimina i rallentamenti e riduci il tempo di addestramento del machine learning
Con 100 Gb/s di velocità effettiva di rete, gli sviluppatori possono utilizzare in modo efficiente un grande numero di istanze P3dn.24xlarge per l’addestramento distribuito e ridurre notevolmente il tempo necessario per l’addestramento dei modelli. Le 96 vCPU dei processori Intel Skylake personalizzati di AWS con istruzioni AVX-512 operative a 2,5 GHz contribuiscono all’ottimizzazione della pre-elaborazione dei dati. Inoltre, le istanze P3dn.24xlarge utilizzano il sistema AWS Nitro, una combinazione di hardware dedicato e hypervisor leggero che fornisce tutte le risorse di memoria ed elaborazione dell’hardware host alle tue istanze. Le istanze P3dn.24xlarge supportano anche Elastic Fabric Adapter, che consente alle applicazioni di machine learning che utilizzano NVIDIA Collective Communications Library (NCCL) di dimensionarsi a migliaia di GPU.
Minori costi di proprietà con l’ottimizzazione dell’utilizzo di GPU
Il potenziamento delle reti utilizzando la versione più recente di Elastic Network Adapter con fino a 100 GB/s di banda di rete aggregata può essere utilizzato non solo per condividere i dati tra varie istanze P3dn.24xlarge, ma anche per l’accesso ai dati a throughput elevato tramite Amazon S3 o una soluzione di sistemi di file condivisi, come Amazon EFS. L’accesso ai dati a throughput elevato è fondamentale per ottimizzare l’utilizzo delle GPU e fornire massime prestazioni dalle istanze di calcolo.
Supporto di modelli più grandi e complessi
Le istanze P3dn.24xlarge offrono GPU Tensor Core NVIDIA V100 con 32 GB di memoria per ottenere la flessibilità per addestrare modelli di machine learning più grandi e avanzati, oltre a elaborare batch di dati di dimensioni superiori, come immagini 4k per i sistemi di classificazione delle immagini e rilevamento di oggetti.
Dettagli prodotto istanza P3 di Amazon EC2
Dimensioni istanza | GPU – Tesla V100 | Peer to peer GPU | Memoria GPU (GB) | vCPU | Memoria (GB) | Larghezza di banda di rete | Larghezza di banda EBS | Prezzo on demand/h* | Istanza riservata effettiva di 1 anno all’ora* | Istanza riservata effettiva di 3 anno all’ora* |
---|---|---|---|---|---|---|---|---|---|---|
p3.2xlarge | 1 | N/D | 16 | 8 | 61 | Fino a 10 Gb/s | 1,5 Gbps | 3,06 USD | 1,99 USD | 1,05 USD |
p3.8xlarge | 4 |
NVLink | 64 | 32 | 244 | 10 Gbps | 7 Gbps | 12,24 USD | 7,96 USD | 4,19 USD |
p3.16xlarge | 8 | NVLink | 128 | 64 | 488 | 25 Gbps | 14 Gbps | 24,48 USD | 15,91 USD | 8,39 USD |
p3dn.24xlarge | 8 | NVLink | 256 | 96 | 768 | 100 Gb/s | 19 Gb/s | 31,218 USD | 18,30 USD | 9,64 USD |
* - I prezzi sono calcolati per Linux/Unix nella regione AWS Stati Uniti orientali (Virginia settentrionale) e arrotondati al centesimo più vicino. Per ulteriori dettagli, consulta la pagina dei prezzi di Amazon EC2.
I clienti possono ora acquistare le istanze P3 come Istanze on demand, istanze riservate, istanze Spot e host dedicati.
Fatturazione al secondo
Uno dei molti vantaggi del cloud computing è la natura elastica delle risorse di provisioning o deprovisioning a seconda delle esigenze. Riducendo l’utilizzo fino al secondo, consentiamo ai clienti di aumentare la loro elasticità, risparmiare denaro e consentire loro di ottimizzare l’allocazione delle risorse verso il raggiungimento degli obiettivi di apprendimento automatico.
Prezzi delle istanze riservate
Le istanze riservate offrono una notevole riduzione (fino al 75%) rispetto ai prezzi delle istanze on demand. L’acquisto di un’istanza riservata in una zona di disponibilità specifica consente di prenotare capacità in tale zona, per garantire il corretto avvio di istanze esattamente nel momento in cui servono.
Prezzi Spot
I costi addebitati per le istanze Spot saranno quelli del prezzo Spot in corso di validità durante l'esecuzione delle istanze. I prezzi delle istanze Spot sono stabiliti da Amazon EC2 e regolati in modo graduale in base ai trend a lungo termine di offerta e domanda di capacità inutilizzata dell'istanza Spot. Le istanze Spot sono disponibili con prezzi fino al 90% inferiori rispetto ai prezzi on demand.
La disponibilità globale più ampia
Le istanze P3.2xlarge, P3.8xlarge e P3.16xlarge di Amazon EC2 sono disponibili in 14 regioni AWS e forniscono la flessibilità necessaria per formare e distribuire i modelli di apprendimento automatico dove si trovano i dati. Le regioni AWS disponibili per P3 sono: Stati Uniti orientali (Virginia), Stati Uniti orientali (Ohio), Stati Uniti occidentali (Oregon), Canada (Centrale), UE (Irlanda), UE (Francoforte), UE (Londra), Asia e Pacifico (Tokyo), Asia e Pacifico (Seoul), Asia e Pacifico (Sydney), Asia e Pacifico (Singapore), Cina (Pechino), Cina (Ningxia) e GovCloud (Stati Uniti occidentali).
Le istanze P3dn.24xlarge sono disponibili nelle regioni AWS Asia Pacifico (Tokyo), Europa (Irlanda), Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon), GovCloud (Stati Uniti occidentali) e GovCloud (Stati Uniti orientali).
Inizia a usare le istanze P3 di Amazon EC2 per il machine learning
Per iniziare in pochi minuti, scopri di più su Amazon SageMaker o usa l'AMI di deep learning in AWS con popolari framework preinstallati di deep learning, ad esempio Caffe2 e MXNet. In alternativa, puoi anche usare l'AMI NVIDIA con driver GPU e kit di strumenti CUDA preinstallato.
Blog, articoli e webinar
Data di trasmissione: 19 dicembre 2018
Livello: 200
La visione computerizzata si occupa di come i computer possono essere addestrati per ottenere una comprensione di alto livello delle immagini o dei video digitali. La storia di visione computerizzata comincia negli anni '60, ma i recenti progressi della tecnologia di elaborazione hanno permesso applicazioni come la guida automatica dei veicoli. Questa presentazione tecnica esaminerà le diverse fasi necessarie per costruire, addestrare e distribuire un modello di machine learning per la visione computerizzata. Confronteremo e contrapporremo i modelli di addestramento della visione computerizzata che utilizzano diverse istanze di Amazon EC2 ed evidenzieremo come sia possibile ottenere un significativo risparmio di tempo utilizzando le istanze P3 di Amazon EC2.
Data di trasmissione: 31 luglio 2018
Livello 200
Le organizzazioni stanno affrontando questioni sempre più complesse nei settori delle scienze, dell’energia, dell’high tech e della medicina più avanzati. Il machine learning (ML) permette di esplorare rapidamente la moltitudine di scenari e generare le risposte migliori, che vanno dal riconoscimento di immagini, video e voce, alla guida autonoma dei veicoli e alle previsioni del tempo. Per i data scientist, i ricercatori e gli sviluppatori che hanno bisogno di accelerare lo sviluppo delle applicazioni ML, le istanze P3 di Amazon EC2 sono le più potenti, economiche e versatili istanze di elaborazione GPU disponibili sul cloud.
Informazioni su Amazon SageMaker
Informazioni sull’apprendimento approfondito in AWS
Informazioni su High Performance Computing (HPC)