Elastic Fabric Adapter (EFA) es una interfaz de red para instancias de Amazon EC2 que permite al cliente ejecutar aplicaciones que requieren altos niveles de comunicación entre nodos a escala en AWS. Su interfaz de hardware de bypass del sistema operativo diseñada a medida mejora el rendimiento de las comunicaciones entre instancias, lo cual es fundamental para ajustar la escala de estas aplicaciones. Con EFA, las aplicaciones de informática de alto rendimiento (HPC) que utilizan aplicaciones de Message Passing Interface y aprendizaje automático que usan NVIDIA Collective Communications Library (NCCL) pueden aumentar su escala a miles de CPU o GPU. Como resultado, obtiene el rendimiento de las aplicaciones de los clústeres HPC locales con la elasticidad y flexibilidad bajo demanda de la nube de AWS.
EFA está disponible como una característica opcional de red de EC2 que puede habilitar en cualquier instancia EC2 compatible sin ningún costo adicional. Además, funciona con las interfaces, API y bibliotecas más utilizadas para las comunicaciones entre nodos, por lo que puede migrar sus aplicaciones de HPC a AWS con pocas modificaciones o ninguna.
Beneficios
Resultados con mayor rapidez
El exclusivo mecanismo de red de derivación del sistema operativo de EFA proporciona un canal de baja latencia y baja fluctuación para las comunicaciones entre instancias. Esto permite que sus aplicaciones de HPC estrechamente acopladas o de machine learning distribuido se escalen a miles de núcleos, lo que hace que sus aplicaciones se ejecuten más rápido.
Configuraciones flexibles
Puede habilitar la compatibilidad con EFA en una lista creciente de instancias de EC2 y conseguir la flexibilidad necesaria para elegir la configuración de computación adecuada para su carga de trabajo. Solo cambie las configuraciones del clúster a medida que cambian sus necesidades y habilite la compatibilidad con EFA en sus nuevas instancias de computación. No es necesario hacer reservas previas ni planificar por adelantado.
Migraciones sin inconvenientes
EFA utiliza la interfaz y las API de Libfabric para las comunicaciones. Como casi todos los modelos de programación de HPC admiten esta interfaz, puede migrar sus aplicaciones de HPC existentes a la nube con pocas modificaciones o ninguna.
Rendimiento de EFA
EFA proporciona un escalado 4 veces mejor con respecto a ENA para una simulación de CFD estándar, como se muestra en el gráfico anterior.
Solucionador para este análisis comparativo proporcionado por Metacomp Technologies
Funcionamiento
Casos de uso
Dinámica de fluidos computacional
Los avances en los algoritmos de dinámica de fluidos computacional (CFD) permiten a los ingenieros simular fenómenos de flujo cada vez más complejos y la HPC ayuda a reducir los tiempos de respuesta. Con EFA, los ingenieros de diseño ahora pueden escalar horizontalmente sus trabajos de simulación para experimentar con parámetros más ajustables, lo que se traduce en resultados más precisos que se obtienen con mayor rapidez.
Modelado meteorológico
Los modelos meteorológicos complejos requieren un gran ancho de banda de memoria, interconexiones rápidas y sistemas de archivos paralelos robustos para ofrecer resultados precisos. Cuanto más cerca esté el espaciado de la cuadrícula en el modelo, más precisos serán los resultados y más recursos computacionales requerirá el modelo. EFA ofrece una interconexión rápida que permite a las aplicaciones de modelado meteorológico aprovechar las capacidades de escalado casi ilimitadas de la nube de AWS y obtener predicciones más precisas en menos tiempo.
Machine Learning
El entrenamiento de los modelos de aprendizaje profundo se puede acelerar de forma significativa con la computación distribuida en varias GPU. Los principales marcos de aprendizaje profundo, como Caffe, Caffe2, Chainer, MXNet, TensorFlow y PyTorch, ya se han integrado a NCCL para aprovechar sus colectivos de múltiples GPU para las comunicaciones entre nodos. EFA está optimizado para NCCL en AWS y, de este modo, mejora el rendimiento y la escalabilidad de estos modelos de entrenamiento, lo que permite obtener resultados más rápidos.
Recursos
Introducción con Elastic Fabric Adapter (EFA)
Descubra todos los servicios de AWS que puede utilizar para crear una solución HPC en AWS
Obtenga acceso instantáneo a la capa gratuita de AWS.