Elastic Fabric Adapter (EFA) è un'interfaccia di rete per istanze Amazon EC2 che consente ai clienti di eseguire applicazioni che richiedono livelli elevati di comunicazione tra nodi su vasta scala in AWS. La personalizzazione della sua interfaccia hardware di bypass del sistema operativo (OS) migliora le prestazioni delle comunicazioni tra istanze, fondamentali per ridimensionare le applicazioni. Con EFA, le applicazioni HPC (High Performance Computing) che utilizzano le applicazioni Message Passing Interface (MPI) e Machine Learning (ML) che usano a loro volta la NVIDIA Collective Communications Library (NCCL) possono scalare fino a migliaia di CPU o GPU. Di conseguenza, si ottengono prestazioni di applicazioni di cluster HPC locali che presentano l'elasticità e la flessibilità on demand del cloud AWS.
EFA è disponibile come caratteristica opzionale delle reti EC2 e può essere abilitata, senza costi aggiuntivi, sulle istanze EC2 supportate. Inoltre, è compatibile con le interfacce, le API e le librerie più diffuse per le comunicazioni tra i nodi, così puoi migrare le tue applicazioni HPC su AWS con pochissime o nessuna modifica.
Vantaggi
Risultati più rapidi
L'esclusivo meccanismo di networing realizzato da EFA che bypassa il sistema operativo offre un canale a bassa latenza e basso jitter per le comunicazioni tra istanze. Ciò consente alle applicazioni HPC o di machine learning distribuite strettamente accoppiate di scalare fino a migliaia di core, velocizzando l'esecuzione delle applicazioni.
Configurazione flessibile
Puoi abilitare il supporto EFA su un elenco crescente di istanze EC2 e ottenere la flessibilità di scegliere la configurazione di calcolo adatta per il tuo carico di lavoro. Ti basterà cambiare le configurazioni del cluster in base alle tue esigenze e abilitare il supporto per EFA sulle nuove istanze di calcolo. Non è necessaria alcuna prenotazione o pianificazione anticipata.
Migrazioni perfette
EFA utilizza l'interfaccia e le API libfabric per le comunicazioni. Poiché quasi tutti i modelli di programmazione HPC supportano questa interfaccia, è possibile migrare le applicazioni HPC esistenti nel cloud senza bisogno di modifiche o apportandone pochissime.
Prestazioni dell'EFA
Come mostrato nel grafico qui sopra, in una simulazione CFD standard l'EFA migliora la scalabilità di quattro volte rispetto all'ENA.
Per questa analisi comparativa il finalizzatore è stato fornito da Metacomp Technologies
Come funziona
Casi d'uso
Fluidodinamica computazionale
I progressi negli algoritmi di fluidodinamica computazionale (CFD) consentono agli ingegneri di simulare fenomeni di flusso sempre più complessi e l'HPC aiuta a ridurre i tempi di risposta. Con EFA, ora i progettisti possono ridimensionare i loro processi di simulazione per sperimentare con parametri più regolabili, portando a risultati più rapidi e precisi.
Modellazione meteorologica
Per riuscire a fornire risultati accurati, i modelli meteorologici complessi richiedono un'elevata larghezza di banda di memoria, interconnessioni veloci e file system paralleli affidabili. Più stretta è la spaziatura della griglia sul modello, più accurati sono i risultati e maggiori sono le risorse computazionali richieste dal modello. EFA offre un'interconnessione rapida che consente alle applicazioni di modellazione meteorologica di sfruttare le capacità di scalabilità virtualmente illimitate del cloud AWS e ottenere previsioni più accurate in meno tempo.
Machine learning
L'addestramento dei modelli di deep learning può essere notevolmente accelerato grazie all'elaborazione distribuita su GPU. I principali framework di deep learning come Caffe, Caffe2, Chainer, MXNet, TensorFlow e PyTorch hanno già integrato la NCCL per sfruttare i suoi collettivi multi-GPU per le comunicazioni tra nodi. L'EFA è ottimizzato per la NCCL su AWS e migliora la produttività e la scalabilità dei relativi modelli di addestramento, con conseguenti risultati più rapidi.
Risorse
Nozioni di base su Elastic Fabric Adapter (EFA)
Scopri tutti i servizi AWS che puoi utilizzare per creare una soluzione HPC in AWS
Ottieni l'accesso immediato al piano gratuito di AWS.
