Instâncias P4 do Amazon EC2
Alta performance para treinamento de ML e aplicações de HPC na nuvem
As instâncias P4d do Amazon Elastic Compute Cloud (Amazon EC2) fornecem alta performance para treinamento de machine learning (ML) e aplicações de computação de alta performance (HPC) na nuvem. As instâncias P4d estão equipadas com GPUs NVIDIA A100 Tensor Core e oferecem alto throughput e redes com baixa latência que são líderes do setor. Essas instâncias oferecem suporte a redes de instâncias de 400 Gbps. As instâncias P4d oferecem custo até 60% inferior para treinar modelos de ML, inclusive uma média de performance 2,5 vezes melhor para modelos de aprendizado profundo em comparação com as instâncias P3 e P3dn da geração anterior.
As instâncias P4d são implantadas em clusters de hiperescala chamados Amazon EC2 UltraClusters, compostos pela mais alta performance de computação, redes e armazenamento na nuvem. Cada EC2 UltraCluster é um dos supercomputadores mais poderosos do mundo, que ajuda a executar seus mais complexos treinamentos de ML de vários nós e workloads de HPC distribuídas. Você pode escalar com facilidade de algumas a milhares de GPUs NVIDIA A100 nos EC2 UltraClusters com base em suas necessidades de projeto de ML ou HPC.
Pesquisadores, cientistas de dados e desenvolvedores podem usar instâncias P4d para treinar modelos de ML para casos de uso, como processamento de linguagem natural, detecção e classificação de objetos e mecanismos de recomendação. Também podem ser usadas para executar aplicações de HPC, como descoberta farmacêutica, análise sísmica e modelagem financeira. Ao contrário dos sistemas on-premises, você pode acessar capacidade virtualmente ilimitada de computação e armazenamento, escalar a infraestrutura com base nas necessidades de negócios e ativar um trabalho de treinamento de ML de vários nós ou uma aplicação de HPC distribuída fortemente acoplada em minutos, sem custos de configuração ou de manutenção.
Tem dúvidas ou precisa de ajuda com EC2 UltraClusters?
Reserve instâncias P4d agora para uso futuro
Com o Amazon EC2 Capacity Blocks for ML, é possível reservar instâncias P4d com facilidade e com até oito semanas de antecedência. Você pode reservar instâncias P4d por um período de 1 a 14 dias e em tamanhos de cluster de 1 a 64 instâncias (512 GPUs), proporcionando flexibilidade para executar uma ampla variedade de workloads.
Treinamento de ML em alta escala e HPC com instâncias P4d do EC2 UltraClusters
Os EC2 UltraClusters de instâncias P4d combinam HPC, redes e armazenamento em um dos supercomputadores mais poderosos do mundo. Cada instância P4d do EC2 UltraCluster é formada por mais de 4 mil GPUs do NVIDIA A100 mais recente, infraestrutura de redes sem bloqueio em escala de petabits e alto throughput, além de armazenamento de baixa latência com o Amazon FSx para Lustre. Desenvolvedores, pesquisadores ou cientistas de dados de ML podem ativar instâncias P4d em EC2 UltraClusters para obter acesso à performance de classe de supercomputador com modelo de uso de pagamento conforme o uso para executar seus mais complexos treinamentos de ML de vários nós e workloads de HPC.
Em caso de dúvidas ou para obter assistência com os EC2 UltraClusters, solicite ajuda.
Disponível somente em algumas regiões da AWS. Para obter informações sobre quais regiões oferecem suporte e outras informações sobre os EC2 UltraClusters entre em contato conosco.
Benefícios
Reduzir o tempo de treinamento de ML de dias para minutos
Com as GPUs NVIDIA A100 Tensor Core de última geração, cada instância P4d oferece, em média, performance de aprendizado profundo (DL) 2,5 vezes melhor em comparação com instâncias P3 da geração anterior. Os EC2 UltraClusters de instâncias P4d ajudam desenvolvedores, cientistas de dados e pesquisadores a executar workloads de ML e HPC mais complexas, dando acesso à performance de classe de supercomputação sem custos iniciais ou compromissos de longo prazo. O tempo de treinamento reduzido com instâncias P4d aumenta a produtividade, ajudando desenvolvedores a se concentrarem em sua missão principal de desenvolver inteligência de ML em aplicações comerciais.
Executar o treinamento de ML de vários nós mais complexo com alta eficiência
Os desenvolvedores podem escalar perfeitamente para até milhares de GPUs com EC2 UltraClusters de instâncias P4d. Alto throughput, redes de baixa latência com suporte para redes de instância de 400 Gbps, Elastic Fabric Adapter (EFA) e tecnologia GPUDirect RDMA ajudam a treinar rapidamente modelos de ML usando técnicas de aumento da escala horizontal/distribuídas. O EFA usa a NVIDIA Collective Communications Library (NCCL) para escalar para milhares de GPUs, e a tecnologia GPUDirect RDMA permite a comunicação de GPU para GPU de baixa latência entre instâncias P4d.
Reduzir os custos de infraestrutura para treinamento de ML e HPC
As instâncias P4d oferecem custo até 60% inferior para treinar modelos de ML em comparação com as instâncias P3. Além disso, as instâncias P4d estão disponíveis para compra como instâncias spot. As instâncias spot utilizam a capacidade de instâncias do EC2 não utilizadas e podem reduzir substancialmente os custos do EC2 em até 90% em relação aos preços sob demanda. Com a diminuição do custo de treinamento de ML com instâncias P4d, os orçamentos podem ser realocados para desenvolver mais inteligência de ML em aplicações comerciais.
Começar e escalar facilmente com os serviços da AWS
As AMIs de deep learning da AWS (DLAMI) e os contêineres de deep learning da Amazon facilitam a implantação de ambientes de DL P4d em minutos, pois contêm as bibliotecas e ferramentas de framework de DL necessárias. Também é possível adicionar mais facilmente suas próprias bibliotecas e ferramentas a essas imagens. As instâncias P4d são compatíveis com frameworks de ML mais usados, como TensorFlow, PyTorch e MXNet. Além disso, as instâncias P4d são compatíveis com os principais serviços da AWS para ML, gerenciamento e orquestração, como Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch e AWS ParallelCluster.
Atributos
Baseadas em GPUs NVIDIA A100 Tensor Core
As GPUs NVIDIA A100 Tensor Core oferecem aceleração sem precedentes em escala para ML e HPC. A terceira geração de Tensor Cores do NVIDIA A100 agiliza todas as workloads de precisão, acelerando o tempo de obtenção de insights e de comercialização. Cada GPU A100 oferece performance de computação 2,5 vezes superior em comparação com a GPU V100 da geração anterior e vem com 40 GB de memória de GPU HBM2 (em instâncias P4d) ou 80 GB de HBM2e (em instâncias P4de) de alta performance. Uma memória de GPU maior beneficia em particular as workloads em treinamento sobre grandes conjuntos de dados de dados de alta resolução. As GPUs NVIDIA A100 utilizam throughput de interconexão da GPU NVSwitch para que cada GPU possa se comunicar com todas as outras GPUs na mesma instância com o mesmo throughput bidirecional de 600 GB/s e com latência de salto único.
Rede de alta performance
As instâncias P4d oferecem redes de 400 Gbps para ajudar os clientes a aumentar a escala horizontalmente de suas workloads distribuídas, como treinamento de vários nós de forma mais eficiente, com redes de alto throughput entre instâncias P4d, bem como entre uma instância P4d e serviços de armazenamento, como o Amazon Simple Storage Service (Amazon S3) e FSx para Lustre. O EFA é uma interface de rede personalizada criada pela AWS para ajudar a escalar aplicações de ML e HPC para milhares de GPUs. Para reduzir ainda mais a latência, o EFA é acoplado ao NVIDIA GPUDirect RDMA para habilitar a comunicação de GPU para GPU de baixa latência entre servidores com desvio de sistema operacional.
Armazenamento com alto throughput e baixa latência
Alcance um alto throughput em escala de petabytes, armazenamento de baixa latência com FSx para Lustre ou armazenamento com bom custo-benefício praticamente ilimitado com o Amazon S3 a velocidades de 400 Gbps. Para workloads que precisam acessar rapidamente grandes conjuntos de dados, cada instância P4d também inclui armazenamento SSD baseado em NVMe de 8 TB com throughput de leitura de 16 GB/s.
Desenvolvidas no AWS Nitro System
As instâncias P4d são desenvolvidas no AWS Nitro System, que é uma coleção complexa de blocos de criação que transferem muitas das funções tradicionais de virtualização para hardware e software dedicados para entregar altos níveis de performance, disponibilidade e segurança, além de reduzir a sobrecarga da virtualização.
Histórias de sucesso dos clientes
Fundado em 2015, o Toyota Research Institute (TRI) está trabalhando para desenvolver direção automatizada, robótica e outras tecnologias de amplificação humana para a Toyota.
“No TRI, estamos trabalhando para construir um futuro em que todos tenham a liberdade de se locomover. As instâncias P3 da geração anterior nos ajudaram a reduzir o tempo de treinamento de modelos de ML de dias para horas, e estamos ansiosos para utilizar as instâncias P4d, pois a memória de GPU adicional e os formatos flutuantes mais eficientes permitirão que nossa equipe de machine learning treine com modelos mais complexos em uma velocidade ainda maior.”
Mike Garrison, líder técnico de engenharia de Infraestrutura do TRI
“No TRI-AD, estamos trabalhando para construir um futuro no qual todos tenham a liberdade de se locomover e passear, e nos concentramos na redução de acidentes e mortes em veículos usando direção adaptativa e cidade inteligente. Usando as instâncias P4d do Amazon EC2, conseguimos reduzir nosso tempo de treinamento para reconhecimento de objetos em 40% em comparação com instâncias de GPU da geração anterior sem qualquer modificação nos códigos existentes.”
Junya Inada, diretora de direção automatizada (reconhecimento) do TRI-AD
“Usando as instâncias P4d do Amazon EC2, conseguimos reduzir instantaneamente nosso custo de treinamento em comparação com as instâncias de GPU da geração anterior, o que nos possibilitou aumentar o número de equipes trabalhando no treinamento do modelo. Os aprimoramentos das redes em P4d nos permitiu escalar com eficiência para dezenas de instâncias, o que nos deu uma agilidade significativa para otimizar, retreinar e implantar modelos em carros de teste ou em ambientes de simulação para testes adicionais com rapidez.”
Jack Yan, diretor sênior de engenharia de infraestrutura do TRI-AD
A GE Healthcare é líder global em tecnologia médica e inova em soluções digitais. A GE Healthcare permite que os profissionais de saúde tomem decisões mais rápidas e embasadas usando dispositivos inteligentes, análise de dados, aplicações e serviços, com o suporte de sua plataforma de inteligência Edison.
“Na GE Healthcare, oferecemos aos profissionais de saúde ferramentas que ajudam a agregar dados, aplicar IA e análise a esses dados e a descobrir insights para melhorar os resultados do paciente, aumentar a eficiência e eliminar erros. Nossos dispositivos de geração de imagiologia médica geram grandes quantidades de dados que precisam ser processados por cientistas de dados. Com os clusters de GPU anteriores, levaria dias para treinar modelos complexos de IA, como GANs progressivos, para simulações e visualização dos resultados. A utilização das novas instâncias P4d reduziu o tempo de processamento de dias para horas. Observamos uma velocidade de duas a três vezes maior em modelos de treinamento com vários tamanhos de imagem, ao mesmo tempo em que alcançamos melhor performance com lotes maiores e maior produtividade com um ciclo de desenvolvimento de modelo mais rápido.”
Karley Yoder, vice-presidente e gerente geral de inteligência artificial da GM Healthcare
.1423e4372be1d9da0d8bc14e12566a8c5f996091.png)
A HEAVY.AI é pioneira em análise acelerada. A plataforma HEAVY.AI é usada em empresas e agências governamentais para encontrar insights em dados além dos limites das ferramentas de análise convencionais.
“Na HEAVY.AI, estamos trabalhando para construir um futuro em que a ciência de dados e a análise convergem para detalhar e fundir silos de dados. Os clientes estão utilizando enormes quantidades de dados capazes de incluir localização e hora para criar uma imagem completa não apenas do que está acontecendo, mas quando e onde, por meio da visualização detalhada de dados espaço-temporais. Nossa tecnologia permite ver tanto a floresta como as árvores. Usando as instâncias Amazon EC2 P4d, fomos capazes de reduzir o custo de implantação de nossa plataforma significativamente em comparação com as instâncias de GPU da geração anterior, o que nos permitiu escalar conjuntos de dados massivos com bom custo-benefício. Os aprimoramentos das redes no A100 aumentaram nossa eficiência ao escalar para bilhões de linhas de dados e permitiram que nossos clientes obtivessem insights ainda mais rapidamente.”
Ray Falcione, vice-presidente de setor público dos EUA da HEAVY.AI
A Zenotech Ltd está redefinindo a engenharia on-line usando nuvens de HPC que oferecem modelos de licenciamento sob demanda, juntamente com benefícios de performance extremos utilizando as GPUs.
“Na Zenotech, estamos desenvolvendo as ferramentas para permitir que designers criem produtos mais eficientes e sustentáveis. Trabalhamos em vários setores, e nossas ferramentas oferecem melhor insight da performance do produto por meio do uso de simulação em grande escala. O uso das instâncias P4d da AWS nos permite executar simulações 3,5 vezes mais rápido em comparação com a geração anterior de GPUs. Essa maior velocidade reduz significativamente o tempo de resolução, permitindo que nossos clientes coloquem projetos no mercado mais rapidamente ou façam simulações com mais fidelidade do que era possível antes.”
Jamil Appa, diretor e cofundador da Zenotech
A Aon é uma empresa líder global de serviços profissionais que oferece uma ampla variedade de soluções de risco, aposentadoria e saúde. A Aon PathWise é uma solução de gerenciamento de risco de HPC escalável e baseada em GPU que seguradoras e resseguradoras, bancos e fundos de pensão podem usar para enfrentar os principais desafios atuais, como testes de estratégia de hedge, previsão regulatória e econômica e orçamento.
“Na PathWise Solutions Group LLC, nosso produto permite que seguradoras, resseguradoras e fundos de pensão tenham acesso a tecnologia inovadora para resolver rapidamente os principais desafios atuais no setor de seguros, como machine learning, testes de estratégia de hedge, relatórios regulatórios e financeiros, planejamento de negócios e previsão econômica e desenvolvimento de novos produtos e preços. Usando as instâncias P4d do Amazon EC2, podemos oferecer melhorias surpreendentes na velocidade de cálculos de precisão simples e dupla em comparação às instâncias de GPU da geração anterior para cálculos mais exigentes, permitindo que clientes façam uma nova gama de cálculos e previsões pela primeira vez. A velocidade é importante, e continuamos oferecendo valor significativo e a tecnologia mais atual aos nossos clientes graças às novas instâncias da AWS.”
Van Beach, chefe global de soluções de vida, Aon Pathwise Strategy and Technology Group
Formada por especialistas em radiologia e IA, a Rad AI desenvolve produtos que maximizam a produtividade do radiologista, tornando os cuidados de saúde mais acessíveis e melhorando os resultados do paciente.
“Na Rad AI, nossa missão é ampliar o acesso e a qualidade dos cuidados de saúde para todos. Com foco no fluxo de trabalho de imagiologia médica, a Rad AI poupa tempo dos radiologistas, reduz o esgotamento profissional e aumenta a precisão. Usamos IA para automatizar fluxos de trabalho e ajudar a agilizar os relatórios de radiologia. Com as novas instâncias EC2 P4d, observamos uma inferência mais rápida e a capacidade de treinar modelos 2,4 vezes mais rápido, com maior precisão do que nas instâncias P3 da geração anterior. Isso permite diagnósticos mais rápidos e precisos e maior acesso a serviços de radiologia de alta qualidade fornecidos por nossos clientes nos Estados Unidos.”
Doktor Gurson, cofundador da Rad AI
Detalhes do produto
| Tamanho da instância | vCPUs | Memória da instância (GiB) | GPU: A100 | Memória de GPU | Largura de banda de rede (Gbps) | RDMA GPUDirect | Peer-to-peer de GPUs | Armazenamento de instâncias (GB) | Largura de banda do EBS (Gbps) | Preço/hr sob demanda | Instância reservada por 1 ano – por hora * | Instância reservada por 3 anos – por hora * |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| p4d.24xlarge | 96 | 1.152 | 8 | 320GB HBM2 |
ENA e EFA de 400 | Sim | NVSwitch de 600 GB/s | 8 x 1000 NVMe SSD | 19 | USD 32,77 | USD 19,22 | USD 11,57 |
| p4de.24xlarge (pré-visualização) | 96 | 1.152 | 8 | 640 GB HBM2e |
ENA e EFA de 400 | Sim | NVSwitch de 600 GB/s | 8 x 1000 NVMe SSD | 19 | USD 40,96 | USD 24,01 | USD 14,46 |
As instâncias P4d estão disponíveis nas regiões: Leste dos EUA (N. da Virgínia e Ohio), Oeste dos EUA (Oregon), Ásia-Pacífico (Seul e Tóquio) e Europa (Frankfurt e Irlanda). As instâncias P4de estão disponíveis nas regiões Leste dos EUA (N. da Virgínia) e Oeste dos EUA (Oregon).
Os clientes podem adquirir instâncias P4d e P4de como instâncias sob demanda, instâncias reservadas, instâncias spot, hosts dedicados ou parte de um Savings Plan.
Conceitos básicos de instâncias P4d para ML
Usar o Amazon SageMaker
Usar DLAMIs ou contêineres de deep learning
Usar o Amazon EKS ou o Amazon ECS
Conceitos básicos de instâncias P4d para HPC
As instâncias P4d são ideais para executar simulações de engenharia, finanças computacionais, análise sísmica, modelagem molecular, genômica, renderização e outras workloads de HPC baseadas em GPUs. Geralmente, os aplicativos de HPC exigem redes de alta performance, armazenamento rápido, grandes quantidades de memória, recursos elevados de computação ou todos esses itens. As instâncias P4d oferecem suporte EFA, possibilitando que aplicações de HPC usem a Message Passing Interface (MPI) para escalar milhares de GPUs. O AWS Batch e o AWS ParallelCluster ajudam desenvolvedores de HPC a desenvolver e escalar rapidamente aplicações de HPC distribuídas.
Publicações e artigos do blog
Recursos adicionais
Conceitos básicos da AWS
Comece a criar no console
Comece a criar usando os guias detalhados que ajudam a iniciar seu projeto da AWS.