Les instances P5 fournissent jusqu’à 8 GPU NVIDIA H100 avec un total de 640 Go de mémoire GPU HBM3 par instance. Les instances P5e fournissent jusqu’à 8 GPU NVIDIA H200 avec un total de 1128 Go de mémoire GPU HBM3e par instance. Les deux instances prennent en charge jusqu’à 900 Go/s d’interconnexion GPU NVSwitch (un total de 3,6 To/s de bande passante bisectionnelle dans chaque instance), de sorte que chaque GPU peut communiquer avec tous les autres GPU de la même instance avec une latence à saut unique.

Les GPU NVIDIA H100 et H200 sont dotés d’un nouveau moteur de transformation qui gère intelligemment et choisit dynamiquement entre les calculs FP8 et 16 bits. Cette fonctionnalité permet d’accélérer l’entraînement DL sur les LLM par rapport aux GPU A100 de génération précédente. Pour les charges de travail HPC, les GPU NVIDIA H100 et H200 disposent de nouvelles instructions DPX qui accélèrent davantage les algorithmes de programmation dynamique par rapport aux GPU A100.

Les instances P5 et P5e fournissent jusqu’à 3 200 Gbit/s de bande passante du réseau EFAv2. L’EFAv2 améliore jusqu’à 50 % les performances des communications collectives pour les charges de travail d’entraînement distribué. L’EFAv2 est également couplé à NVIDIA GPUDirect RDMA pour permettre une communication GPU à GPU à faible latence entre les serveurs avec contournement du système d'exploitation.

Les instances P5 et P5e prennent en charge les systèmes de fichiers Amazon FSx pour Lustre pour que vous puissiez accéder aux données avec un débit de plusieurs centaines de Go/s et des millions d’IOPS requis pour les charges de travail DL et HPC à grande échelle. Chaque instance P5 et P5e prend également en charge jusqu’à 30 To de stockage SSD NVMe local pour un accès rapide à de grands jeux de données. Vous pouvez également utiliser un stockage rentable pratiquement illimité avec Amazon Simple Storage Service (Amazon S3).

Les instances P5 sont déployées dans des UltraClusters EC2 de deuxième génération, qui fournissent une structure réseau permettant une plus grande évolutivité, moins de sauts de réseau à réseau au sein du cluster et une latence inférieure à celle des UltraClusters de génération précédente. Les instances P5 d'UltraClusters peuvent faire augmenter jusqu'à 20 000 GPU H100 interconnectés à un réseau à l'échelle du pétabit et fournir 20 exaflops de capacité de calcul globale.

Les instances P5 et P5e peuvent être déployées à l’aide des AWS Deep Learning AMI (DLAMI) et des AWS Deep Learning Containers. Ils sont disponibles via des services gérés tels qu’Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch, etc.

SageMaker est un service entièrement géré pour créer, entraîner et déployer des modèles de machine learning. Lorsque ces derniers sont utilisés avec les instances P5, vous pouvez facilement mettre à l'échelle des dizaines, des centaines ou des milliers de GPU pour entraîner rapidement un modèle à n'importe quelle échelle sans se soucier de la mise en place de clusters et de pipelines de données.

DLAMI fournit aux praticiens et chercheurs en ML l’infrastructure et les outils nécessaires pour accélérer la DL dans le cloud, à n’importe quelle échelle. Les Deep Learning Containers sont des images Docker comportant des cadres de DL préinstallés qui rationalisent le déploiement d’environnements de ML personnalisés en vous permettant d’éliminer les tâches complexes de création et d’optimisation de vos environnements de A à Z.

Si vous préférez gérer vos propres charges de travail conteneurisées via des services d’orchestration de conteneurs, vous pouvez déployer des instances P5 avec Amazon EKS ou Amazon ECS.