Amazon EC2 P3 인스턴스

ML 애플리케이션의 속도로 높여야 하는 데이터 과학자, 연구원, 개발자를 위해 Amazon EC2 P3 인스턴스는 클라우드에서 ML 훈련용으로 가장 빠른 속도를 제공합니다. Amazon EC2 P3 인스턴스는 최대 8개의 최신 세대 NVIDIA Tesla V100 Tensor Core GPU를 갖추고 있으며 최대 1페타플롭의 혼합 정밀도 성능을 제공하여 ML 워크로드를 현격히 가속화합니다. 더 빠른 모델 훈련을 통해 데이터 사이언티스트와 기계 학습 엔지니어는 더 빠르게 반복하고, 더 많은 모델을 훈련하며, 정확도를 높일 수 있습니다.

클라우드에서 가장 강력한 GPU 인스턴스 중 하나와 함께 유연한 요금제를 사용하면 기계 학습 훈련을 위한 최고의 경제적인 솔루션이 탄생합니다. 일반 Amazon EC2 인스턴스와 마찬가지로, P3 인스턴스는 온디맨드 인스턴스, 예약 인스턴스, 스팟 인스턴스로 제공됩니다. 스팟 인스턴스는 사용하지 않는 EC2 인스턴스 용량을 활용함으로써 Amazon EC2 비용을 온디맨드 요금 대비 최대 70%까지 낮출 수 있습니다.

온프레미스 시스템과는 달리 Amazon EC2 P3 인스턴스에서 고성능 컴퓨팅을 실행하면 인프라를 확장할 수 있는 거의 무제한의 용량과 리소스를 손쉽게 그리고 워크로드에 필요할 때마다 변경할 수 있는 유연성이 제공됩니다. 애플리케이션의 수요에 맞춰 리소스를 구성하고 몇 분 만에 HPC 클러스터를 시작하며 사용한 만큼만 비용을 지불할 수 있습니다.

사전에 패키징된 Docker 이미지를 사용하여 몇 분 만에 딥 러닝 환경을 배포할 수 있습니다. 이 이미지에는 필요한 딥 러닝 프레임워크 라이브러리(현재 TensorFlow 및 Apache MXNet)와 도구가 포함되어 있으며 모든 테스트를 거쳤습니다. 모니터링, 규정 준수 및 데이터 처리에 대한 높은 수준의 제어를 위해 이러한 이미지에 손쉽게 자체 라이브러리와 도구를 추가할 수 있습니다. 또한 Amazon EC2 P3 인스턴스는 Amazon SageMaker와 원활하게 연동되어 강력하고 직관적인 완벽한 기계 학습 플랫폼을 제공합니다. Amazon SageMaker는 기계 학습 모델을 빠르고 쉽게 구축, 교육 및 배포할 수 있도록 지원하는 완전관리형 기계 학습 플랫폼입니다. 또한 Amazon EC2 P3 인스턴스는 널리 사용되는 딥러닝 프레임워크를 통해 미리 설치되는 AWS Deep Learning Amazon 머신 이미지(AMI)와 통합할 수 있습니다. 따라서 기계 학습 훈련과 추론을 빠르고 쉽게 시작할 수 있습니다.

최대 100Gbps의 네트워킹 처리량까지 Amazon EC2 P3 인스턴스를 여러 개 사용하여 기계 학습 모델을 빠르게 학습시킬 수 있습니다. 네트워킹 처리량을 높이면 개발자가 데이터 전송 병목 현상을 제거하고 여러 P3 인스턴스에서 모델 학습 작업을 효율적으로 확장할 수 있습니다. 고객은 16개의 P3 인스턴스 모델을 사용하여 단 18분 만에 일반적인 이미지 분류 모델인 ResNet-50을 업계 표준으로 학습시킬 수 있습니다. 이전에는 온프레미스 GPU 클러스터를 구축하기 위해 막대한 자본 지출(CapEx) 비용이 필요했기 때문에 대부분의 ML 고객이 이러한 수준의 성능을 달성할 수 없었습니다. P3 인스턴스와 온디맨드 사용 모델을 통한 가용성을 기반으로, 이제는 모든 개발자와 기계 학습 엔지니어들이 이러한 수준의 성능을 이용할 수 있게 되었습니다. 그뿐만 아니라, P3dn.24xlarge 인스턴스는 NCCL(NVIDIA Collective Communications Library)을 사용하여 수천 개의 GPU로 확장되는 Elastic Fabric Adapter(EFA)를 지원합니다.

Amazon EC2 P3 인스턴스는 TensorFlow, PyTorch, Apache MXNet, Caffe, Caffe2, Microsoft Cognitive Toolkit(CNTK), Chainer, Theano, Keras, Gluon 및 Torch를 비롯한 모든 주요 기계 학습 프레임워크를 지원합니다. 그리고 애플리케이션에 가장 적합한 프레임워크를 선택할 수도 있습니다.

Amazon SageMaker를 사용하면 손쉽게 기계 학습 모델을 구축하고 학습시킬 수 있습니다. 학습 데이터에 빠르게 연결하며 애플리케이션을 위한 최상의 알고리즘 및 프레임워크를 선택 및 최적화하는 데 필요한 모든 것을 제공해 줍니다. Amazon SageMaker에는 호스팅되는 Jupyter 노트북이 포함되어 있으므로, Amazon S3에 저장된 학습 데이터를 손쉽게 탐색하고 시각화할 수 있습니다.  또한, 노트북 인스턴스를 사용해 코드를 작성하여 모델 교육 작업을 생성하고 Amazon SageMaker 호스팅으로 모델을 배포하고 모델을 테스트 또는 검증할 수 있습니다.

콘솔에서 클릭 한 번 또는 API 호출을 통해 모델 학습을 시작할 수 있습니다. Amazon SageMaker는 TensorFlow 및 Apache MXNet의 최신 버전이 사전에 구성되어 있으며 NVIDIA GPU에서 최적의 성능을 내는 CUDA9 라이브러리를 지원합니다. 또한, 하이퍼 파라미터 최적화 기능은 가장 정확한 예측에 신속하게 도달하도록 모델 파라미터의 서로 다른 조합을 지능적으로 조정하여 모델을 자동으로 튜닝할 수 있습니다. 더 큰 규모가 필요한 경우, 수십 개의 인스턴스로 확장하여 더 빠르게 모델을 구축하도록 지원할 수 있습니다.

학습 후 클릭 한 번으로 여러 가용 영역의 Auto Scaling Amazon EC2 인스턴스로 모델을 배포할 수 있습니다. 프로덕션에 적용되면, Amazon SageMaker가 사용자를 대신하여 컴퓨팅 인프라를 관리하여 상태 확인을 수행하고, 보안 패치를 적용하며, 그 밖의 일상적 유지 관리를 수행합니다. 이 모두는 내장된 Amazon CloudWatch 모니터링 및 로깅 기능을 통해 이루어집니다.

100Gbps의 네트워킹 처리량을 통해 개발자들은 분산 훈련에 많은 수의 P3dn.24xlarge 인스턴스를 효율적으로 사용하여 모델 훈련 시간을 상당히 단축할 수 있습니다. AWS 커스텀 인텔 스카이레이크 프로세서의 96vCPU와 2.5GHz에서 작동하는 AVX-512 명령은 데이터 전처리 최적화를 지원합니다. 또한 P3dn.24xlarge 인스턴스는 전용 하드웨어 및 경량 하이퍼바이저가 결합된 AWS Nitro 시스템을 사용하여 인스턴스에 호스트 하드웨어의 컴퓨팅 및 메모리 리소스를 거의 모두 제공합니다. 또한 P3dn.24xlarge 인스턴스는 Elastic Fabric Adapter를 지원하므로 NVIDIA Collective Communications Library(NCCL)를 사용하여 수천 개의 GPU로 확장되는 기계 학습 애플리케이션을 지원할 수 있습니다.

총 네트워크 대역폭이 최대 100Gbps인 Elastic Network Adapter의 최신 버전을 사용하는 향상된 네트워킹을 사용하여 여러 P3dn.24xlarge 인스턴스에서 데이터를 공유할 수 있을 뿐 아니라, Amazon S3 또는 공유 파일 시스템 솔루션(Amazon EFS 등)을 통해 높은 처리량의 데이터 액세스에도 사용할 수 있습니다. 고성능 데이터 액세스는 GPU의 사용률을 최적화하고 컴퓨팅 인스턴스의 최대 성능을 제공하는 데 중요합니다.

P3dn.24xlarge 인스턴스는 각각 32GiB의 메모리가 탑재된 NVIDIA V100 Tensor Core GPU를 제공하기 때문에 더욱 크고 복잡한 기계 학습 모델을 훈련시킬 뿐만 아니라 이미지 분류 및 객체 감지 시스템에 사용되는 4k 이미지 같은 대용량 데이터 배치를 처리하는 데 따른 유연성을 보장합니다.

클라우드 컴퓨팅의 많은 장점 중 하나가 필요에 따라 리소스를 프로비저닝 또는 디프로비저닝할 수 있는 탄력성입니다. 초 단위까지 사용량을 청구함으로써 고객이 탄력성을 강화하고 비용을 절감하며 기계 학습 목표 달성을 위해 리소스 할당을 최적화하도록 지원합니다.

예약 인스턴스는 온디맨드 인스턴스 요금에 비해 상당한 할인 혜택(최대 75%)을 제공합니다. 또한, 예약 인스턴스를 특정 가용 영역에 지정하면 용량 예약이 제공되므로 필요할 때 예약한 인스턴스를 시작할 수 있다는 확신을 가질 수 있습니다.

스팟 인스턴스를 사용하면, 인스턴스가 실행되는 기간 동안 유효한 스팟 가격이 적용됩니다. 스팟 인스턴스 가격은 Amazon EC2에서 정하고, 스팟 인스턴스 용량의 장기적인 공급 수요 추세에 따라 점진적으로 조정됩니다. 스팟 인스턴스는 온디맨드 요금과 비교하여 최대 90%까지 할인된 금액으로 사용할 수 있습니다.