As instâncias P5 fornecem até 8 GPUs NVIDIA H100, com um total de, no máximo, 640 GB de memória da GPU com o padrão HBM3 por instância. As instâncias P5e fornecem até 8 GPUs NVIDIA H200, com um total de, no máximo, 1.128 GB de memória da GPU com o padrão HBM3e por instância. Ambas as instâncias suportam até 900 GB/s de interconexão de GPU por NVSwitch (totalizando 3,6 TB/s de largura de banda dividida em duas partes em cada instância). Isso possibilita que cada GPU se comunique com todas as outras GPUs em uma mesma instância com latência de salto único.

As GPUs NVIDIA H100 e H200 têm um novo mecanismo de transformador que gerencia de forma inteligente e escolhe dinamicamente entre cálculos de FP8 e 16 bits. Esse atributo ajuda a oferecer acelerações mais rápidas de treinamento de DL em LLMs em comparação às GPUs A100 da geração anterior. Para workloads de HPC, as GPUs NVIDIA H100 e H200 têm novas instruções DPX que aceleram ainda mais os algoritmos de programação dinâmica em comparação com as GPUs A100.

As instâncias P5 e P5e oferecem até 3.200 Gbps de rede EFav2. O EFAv2 oferece uma melhoria de até 50% na performance das comunicações coletivas para workloads de treinamento distribuídas. Para reduzir ainda mais a latência, o EFAv2 é acoplado ao NVIDIA GPUDirect RDMA para habilitar a comunicação de GPU para GPU de baixa latência entre servidores com desvio de sistema operacional.

As instâncias P5 e P5e oferecem suporte aos sistemas de arquivos Amazon FSx para Lustre, para que você possa acessar dados com centenas de GB/s de throughput e milhões de IOPS necessários para workloads de DL e HPC em grande escala. Cada instância P5 e P5e também oferece suporte para até 30 TB de armazenamento SSD NVMe local para acesso rápido a grandes conjuntos de dados. Você também pode usar o armazenamento econômico virtualmente ilimitado com o Amazon Simple Storage Service (Amazon S3).

As instâncias P5 são implantadas em UltraClusters EC2 de segunda geração, que fornecem uma estrutura de rede que permite maior escala, menos saltos de rede em todo o cluster e menor latência do que os UltraClusters da geração anterior. As instâncias P5 em UltraClusters podem escalar até 20.000 GPUs H100 interconectadas com uma rede em escala de petabytes e fornecer 20 exaflops de capacidade de computação agregada.

As instâncias P5 e P5e podem ser implantadas usando AMIs de deep learning da AWS (DLAMI) e contêineres do AWS Deep Learning. Elas estão disponíveis por meio de serviços gerenciados, como Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch e muito mais.

O SageMaker é um serviço totalmente gerenciado para criar, treinar e implantar modelos de ML. Quando usado em conjunto com as instâncias P5, você pode escalar facilmente para dezenas, centenas ou milhares de GPUs a fim de treinar rapidamente um modelo em qualquer escala, sem se preocupar com a configuração de clusters e pipelines de dados.

A DLAMI disponibiliza para profissionais e pesquisadores de ML a infraestrutura e as ferramentas necessárias para acelerar o DL na nuvem em qualquer escala. Os contêineres de aprendizado profundo são imagens do Docker pré-instaladas com frameworks de DL para facilitar a implantação de ambientes personalizados de ML, evitando que você se preocupe com o processo complicado de criar e otimizar ambientes do zero.

Se você preferir gerenciar suas próprias workloads em contêineres por meio dos serviços de orquestração de contêineres, poderá implantar as instâncias P5 com o Amazon EKS ou o Amazon ECS.