P5 インスタンスは、合計で最大 640 GB の HBM3 GPU メモリを備えた最大 8 個の NVIDIA H100 GPU (インスタンスあたり) を搭載しています。P5e インスタンスは、合計で最大 1,128 GB の HBM3e GPU メモリを備えた最大 8 個の NVIDIA H200 GPU (インスタンスあたり) を搭載しています。両方のインスタンスは、最大 900 GB/秒の NVSwitch GPU インターコネクト (各インスタンスで合計 3.6 TB/秒の二分バンド幅) をサポートしているため、各 GPU は同じインスタンス内の他のすべての GPU とシングルホップレイテンシーで通信できます。

NVIDIA H100 および H200 GPU には、FP8 と 16 ビット計算をインテリジェントに管理して動的に選択する新しいトランスフォーマーエンジンが搭載されています。前世代の A100 GPU と比較すると、この機能により、LLM での DL トレーニングがさらに高速化されます。HPC ワークロード向けに、NVIDIA H100 および H200 GPU には、A100 GPU と比較して動的プログラミングアルゴリズムをさらに加速させる新しい DPX 命令が備わっています。

P5 および P5e インスタンスは、最大 3,200 Gbps の EFAv2 ネットワーキングを提供します。EFAv2 は、分散型トレーニングワークロードにおける集合的な通信パフォーマンスで最大 50% の改善を提供します。また、EFAv2 を NVIDIA GPUDirect RDMA と組み合わせると、オペレーティングシステムバイパスによりサーバー間の低レイテンシーの GPU 間通信も可能になります。

P5 および P5e インスタンスは Amazon FSx for Lustre ファイルシステムをサポートしているため、大規模な DL および HPC ワークロードに必要な数百 GB/秒のスループットと数百万 IOPS でデータにアクセスできます。各 P5 および P5e インスタンスは、最大 30 TB のローカル NVMe SSD ストレージもサポートし、大規模なデータセットへの高速アクセスを実現します。また、Amazon Simple Storage Service (Amazon S3) では、費用対効果の高いストレージを事実上無制限に使用できます。

P5 インスタンスは、第 2 世代 EC2 UltraClusters にデプロイされます。この UltraClusters は、前世代の UltraClusters よりも大規模なスケール、少ないネットワークホップ数 (クラスター全体で)、および低減されたレイテンシーを可能にするネットワークファブリックを提供します。UltraClusters の P5 インスタンスでは、ペタビット規模のネットワークで相互接続された H100 GPU を最大 20,000 個までスケールできるため、合計 20 エクサフロップスのコンピューティング能力が提供されます。

P5 および P5e インスタンスは、AWS Deep Learning AMI (DLAMI) および AWS Deep Learning Container を使用してデプロイできます。これらは、Amazon SageMaker、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon Elastic Container Service (Amazon ECS)、AWS Batch などのマネージドサービスを通じて利用できます。

SageMaker は、ML モデルを構築、トレーニング、およびデプロイするためのフルマネージド型サービスです。P5 インスタンスと一緒に使用すると、クラスターやデータパイプラインの設定を気にすることなく、数十、数百、数千の GPU に簡単にスケールし、あらゆる規模でモデルを迅速にトレーニングできます。

DLAMI は、その規模を問わず、クラウドで DL を加速するためのインフラストラクチャとツールを、ML の実践者と研究者に提供します。Deep Learning Container は、深層学習フレームワークがプリインストールされた Docker イメージであり、環境の構築と最適化をゼロから行う面倒なプロセスをスキップできるようにして、カスタム ML 環境のデプロイを合理化します。

コンテナオーケストレーションサービスを通じて独自のコンテナ化されたワークロードを管理したい場合は、Amazon EKS または Amazon ECS を利用して P5 インスタンスをデプロイできます。