Amazon EC2 G5 執行個體是最新版的 NVIDIA GPU 型執行個體，可以用在圖形密集型工作和機器學習使用案例上。 相對於 Amazon EC2 G4dn 執行個體，其在圖形密集型應用程式和機器學習推論上提供了 3 倍的效能，在機器學習訓練上最高能提供 3.3 倍的效能。
客戶可以使用 G5 執行個體來執行圖形密集型應用程式，例如遠端工作站、影片轉譯和遊戲，以即時產生高保真圖形。機器學習的客戶可以使用 G5 執行個體進行訓練，以獲得更高的效能和使用更符合成本效益的基礎設施，用來訓練和部署更大且更複雜的模型，可以應用在如自然語言處理、電腦視覺和推薦系統等使用案例上。
G5 執行個體擁有高達 8 個 NVIDIA A10G Tensor Core GPU 和次世代 AMD EPYC 處理器。其也支援最多 192 個 vCPU，最高 100 Gbps 的網路頻寬和最高 7.6 TB 的本機 NVMe SSD 儲存空間。
優勢
可以高效能地執行圖形密集型應用程式
相對於 G4dn 執行個體，G5 執行個體能提供 3 倍的圖形效能和 40% 更高的性價比。其有比其他 GPU 型的 EC2 執行個體更多的光追核心、每顆 GPU 擁有 24 GB 的記憶體，並支援 NVIDIA RTX 技術。這使其能更快速地渲染高擬真的畫面、運行高效能的虛擬工作站，並支援高保真度的重度圖形應用程式。
高效能且成本合理地進行 ML 推論
相對於 G4dn 執行個體，G5 執行個體用於機器學習推論時能提供 3 倍的效能和 40% 更高的性價比。其對於客戶來說是一項高效能且符合成本效益的解決方案，可以使用 NVIDIA 程式庫 (如：TensorRT、CUDA 和 cuDNN) 來執行他們的機器學習應用程式。
以符合成本效益的方式訓練中等複雜度的機器學習模型
相較於 Amazon EC2 P3 執行個體，G5 執行個體的訓練成本降低了 15%。而相較於 G4dn 執行個體，其能提供 3.3 倍的機器學習訓練效能。這使其成為訓練中等複雜度和單一節點的機器學習模型的優秀方案，相當符合成本效益，其可以訓練用於自然語言處理、電腦視覺和推薦系統等使用案例上的模型。
將資源效率最大化
G5 執行個體以結合專用硬體和輕量型 Hypervisor 的 AWS Nitro 系統為基礎，幾乎能將主機硬體所有的運算與記憶體資源提供給您的執行個體使用，以提供較佳的整體效能與安全。在 G5 執行個體上，Nitro 系統以 Pass-through 模式佈建 GPU，提供與 Bare-metal 相等的效能。
功能
AWS NVIDIA A10G Tensor Core GPU
G5 執行個體是雲端服務中第一個擁有 NVIDIA A10G Tensor Core GPU 的執行個體，能為圖形密集型和機器學習應用程式提供更高的效能。每個執行個體擁有最高 8 個 A10G Tensor Core GPU，每個 GPU 擁有 80 個光追核心和 24 GB 的記憶體。其也提供 320 第三世代的 NVIDIA Tensor Core，能提供最高 250 TOPS，讓機器學習的工作負載有更高的效能。
NVIDIA 驅動程式
G5 執行個體可為客戶提供 NVIDIA RTX 企業版和 Gaming 驅動程式，不需額外費用。NVIDIA RTX 企業版驅動程式可用以為廣泛的圖型密集工作負載提供高品質的虛擬工作站。NVIDIA Gaming 驅動程式能為遊戲開發提供無人能及的圖形與運算支援。G5 執行個體也支援 CUDA、cuDNN、NVENC、TensorRT、cuBLAS、OpenCL、DirectX 11/12、Vulkan 1.1，和OpenGL 4.5 程式庫。
高效能聯網與儲存
G5 執行個體擁有高達 100 Gbps 的聯網輸送量，使其可以達到機器學習推論和圖形密集應用程式所需的低延遲。每個 GPU 24 GB 的記憶體容量和最高支援 7.6 TB 的本機 NVMe SSD 儲存空間，提供高效能機器學習訓練和推論所需的大型模型和資料集的本機儲存能力。G5 執行個體也可以在本機存放大型的影音檔案，這可以提升圖形效能，同時亦可提升渲染大型且複雜的影音檔案的能力。
建立在 AWS Nitro System 之上
G5 執行個體建立在 AWS Nitro System 之上，這是一個豐富的建置區塊集合，可將許多傳統的虛擬化功能卸載到專用的硬體和軟體，以提供高效能、高可用性和高安全性，還能降低虛擬化的額外負荷。
產品詳細資訊
| 執行個體大小 | GPU | GPU 記憶體 (GiB) | vCPU | 記憶體 (GiB) | 儲存 (GB) | 網路頻寬 (Gbps) | EBS 頻寬 (Gbps) | 隨需 (價格/小時)* | 1 年 ISP 按小時計價 (Linux) | 3 年 ISP 按小時計價 (Linux) | |
| 單一 GPU VM | g5.xlarge | 1 | 24 | 4 | 16 | 1x250 | 最多 10 | 最多 3.5 | $1.006 | $0.604 | $0.402 |
| g5.2xlarge | 1 | 24 | 8 | 32 | 1x450 | 最多 10 | 最多 3.5 | $1.212 | $0.727 | $0.485 | |
| g5.4xlarge | 1 | 24 | 16 | 64 | 1x600 | 最多 25 | 8 | $1.624 | $0.974 | $0.650 | |
| g5.8xlarge | 1 | 24 | 32 | 128 | 1x900 | 25 | 16 | $2.448 | $1.469 | $0.979 | |
| g5.16xlarge | 1 | 24 | 64 | 256 | 1x1900 | 25 | 16 | $4.096 | $2.458 | $1.638 | |
| 多個 GPU VM | g5.12xlarge | 4 | 96 | 48 | 192 | 1x3800 | 40 | 16 | $5.672 | $3.403 | $2.269 |
| g5.24xlarge | 4 | 96 | 96 | 384 | 1x3800 | 50 | 19 | $8.144 | $4.886 | $3.258 | |
| g5.48xlarge | 8 | 192 | 192 | 768 | 2x3800 | 100 | 19 | $16.288 | $9.773 | $6.515 |
*所示價格是針對美國東部 (維吉尼亞北部) AWS 區域。1 年期和 3 年期預留執行個體的價格適用於「部分預付」付款選項，沒有「部分預付」選項的執行個體則適用於「無預付」。
客戶見證
Athenascope 使用電腦視覺和人工智慧的頂尖技術來分析遊戲過程，並自動找出最引人注目的瞬間，為玩家和內容創作者製作精華剪輯影片。
「為了創造流暢的影音體驗，能使用我們的 CV 模型進行低延遲的影音分析是我們的基本需求。Amazon EC2 G5 執行個體能提供比之前在 G4dn 執行個體上部署時高 30% 的性價比。」
Athenascope 的創立者兼執行長 Chris Kirmse
Netflix 是全球領先的串流娛樂服務之一，在超過 190 個國家/地區擁有 2.14 億名付費會員，會員們可以享受各種類型及語言的電視影集、紀錄片和劇情片。
「在雲端建置一間製作動畫、視覺特效和實景真人動作內容的工作室是我們的最優先目標。我們希望能讓創作者們隨時隨地都能連上工作站。我們不斷在尋找方法幫助我們的創作者們發揮創造力，其中之一就是提供他們更好用的工作站。」
Netflix 數位製作基礎設施工程部總監 Stephen Kowalski
「藉由新的 Amazon EC2 G5 執行個體，我們可以佈建更高端的圖形工作站，與配備 EC2 G4dn 執行個體的工作站相比，這些工作站的效能最高可達 3 倍。藉由 G5 執行個體，內容創作者可以自由地為我們的觀眾打造更複雜、更逼真的內容。」
Netflix 動畫製作系統工程師 Ben Tucker
「對於高端的 VR/XR 應用程式來說，Amazon EC2 G5 執行個體可以說改變了整個遊戲規則。相對於之前使用的 G4dn 執行個體，我們現在可以用 3 倍的幀數在 Varjo 標誌性的人眼解析度下運行專業應用程式，讓我們的客戶在從伺服器串流時能有前所未有的體驗。」
Varjo 創辦人兼技術長 Urho Konttori
入門
The AWS Deep Learning AMIs (DLAMI) 與 AWS Deep Learning Containers (DLC)
The AWS Deep Learning AMIs (DLAMI) 與 AWS Deep Learning Containers (DLC) 為資料科學家、機器學習從業者和研究人員提供預裝深度學習架構的機器和容器映像，讓您跳過從頭開始建置和最佳化軟體環境的複雜程序。適用於 Gaudi 加速器的 SynapseAI SDK 已整合至 AWS DL AMI 和 DLC 中，讓您能夠快速開始使用 DL1 執行個體。
Amazon Elastic Kubernetes Service (EKS) 或 Elastic Container Service (ECS)
偏好經由容器協同運作服務自行管理容器化工作負載的客戶，可部署含有 Amazon EKS 或 ECS 的 DL1 執行個體。
