Saltar al contenido principal

AWS HPC

Elastic Fabric Adapter

Ejecute aplicaciones de HPC y ML a escala

Elastic Fabric Adapter (EFA)

Elastic Fabric Adapter (EFA) es una interfaz de red para instancias de Amazon EC2 que permite al cliente ejecutar aplicaciones que requieren altos niveles de comunicación entre nodos a escala en AWS. Su interfaz de hardware de bypass del sistema operativo diseñada a medida mejora el rendimiento de las comunicaciones entre instancias, lo cual es fundamental para ajustar la escala de estas aplicaciones. Con EFA, las aplicaciones de informática de alto rendimiento (HPC) que utilizan aplicaciones de Message Passing Interface y aprendizaje automático que usan NVIDIA Collective Communications Library (NCCL) pueden aumentar su escala a miles de CPU o GPU. Como resultado, obtiene el rendimiento de las aplicaciones de los clústeres HPC locales con la elasticidad y flexibilidad bajo demanda de la nube de AWS.

EFA está disponible como una característica opcional de red de EC2 que puede habilitar en cualquier instancia EC2 compatible sin ningún costo adicional. Además, funciona con las interfaces, API y bibliotecas más utilizadas para las comunicaciones entre nodos, por lo que puede migrar sus aplicaciones de HPC a AWS con pocas modificaciones o ninguna.

Rendimiento de EFA

EFA proporciona un escalado 4 veces mejor con respecto a ENA para una simulación de CFD estándar, como se muestra en el gráfico anterior.

Solucionador para este análisis comparativo proporcionado por Metacomp Technologies

AWS Customer CFD Direct

AWS Customer CFD Direct mantiene la popular plataforma OpenFOAM para la dinámica de fluidos computacional y también produce CFD Direct From the Cloud (CFDDFC), una oferta de AWS Marketplace que facilita la ejecución de OpenFOAM en AWS. Han probado y realizado análisis comparativos de EFA y, recientemente, compartieron sus mediciones en una entrada de blog titulada OpenFOAM HPC with AWS EFA (HPC de OpenFOAM con AWS EFA). En la publicación, se informa sobre una simulación de la aerodinámica externa alrededor de un automóvil. Esta simulación se escala de forma extralineal a más de 200 núcleos y se reduce de forma gradual a un escalado lineal a 1000 núcleos (alrededor de 100 000 celdas de simulación por núcleo).

Funcionamiento

Missing alt text value

Casos de uso

Recursos

Ya disponible: Elastic Fabric Adapter (EFA) para cargas de trabajo de HPC estrechamente acopladas

29 de abril de 2019

AWS re:Invent 2018: Escalado de aplicaciones de HPC en EC2 con Elastic Fabric Adapter

En esta charla de re:Invent de 2018, presentamos Elastic Fabric Adapter y analizamos cómo EFA mejora las redes entre instancias en Amazon EC2.

Deep Dive on OpenMPI and Elastic Fabric Adapter (EFA)

En esta charla técnica, analizaremos en profundidad OpenMPI y su compatibilidad específica para EFA de Amazon EC2, y le mostraremos cómo aprovechar al máximo su código y diseñar su solución para obtener rendimiento.

Introducción con Elastic Fabric Adapter (EFA)

En este tutorial, creará una AMI y un grupo de seguridad habilitados para EFA y luego los usará para ejecutar instancias habilitadas para EFA en un grupo con ubicación en clúster.