AWS Machine Learning 인프라

Fortune 500대 기업부터 스타트업에 이르기까지 다양한 산업 분야의 조직이 자연어 처리(NLP), 컴퓨터 비전, 음성 지원, 사기 탐지 및 추천 엔진을 비롯한 광범위한 사용 사례에 기계 학습(ML)을 점점 더 많이 채택하고 있습니다. 또한 수천 억 개의 파라미터가 있는 대규모 언어 모델(LLM)이 이미지, 텍스트 생성 등의 새로운 생성형 AI 사용 사례를 개척하고 있습니다. ML 애플리케이션의 성장과 함께 사용, 관리, 컴퓨팅, 스토리지 및 네트워킹 리소스 비용도 늘어납니다. 적절한 컴퓨팅 인프라를 선별하는 것은 높은 전력 소비를 줄이고 과도한 비용을 낮추는 한편, ML 모델을 교육하고 프로덕션에 배포하는 과정에서 복잡성을 방지하는 데 필수적입니다. 고객이 ML 혁신을 가속화할 수 있도록 AWS는 ML 애플리케이션에 최적화된 비용 효율적이고 에너지 효율적인 목적별 고성능 ML 도구와 액셀러레이터의 이상적인 조합을 제공합니다.

장점

사용 편의성

AWS Trainium, AWS Inferentia 같은 목적별 ML 액셀러레이터에 액세스하여 파운데이션 모델(FM)을 교육 및 배포하고 Amazon SageMaker, Amazon Bedrock 같은 AWS 관리형 서비스를 사용하여 기존 애플리케이션에 통합할 수 있습니다. SageMaker는 데이터 과학자와 ML 개발자에게 특정 사용 사례 및 데이터에 맞게 완전히 사용자 지정하고 프로덕션에 배포할 수 있는 사전 학습된 파운데이션 모델을 제공합니다. Bedrock은 API를 통해 FM을 사용하여 생성형 AI 애플리케이션을 구축할 수 있는 서버리스 경험을 고객에게 제공합니다.

자세히 알아보기 »

고성능

최고 성능의 AWS ML 인프라로 ML 애플리케이션을 강화할 수 있습니다. Amazon EC2 P4d 및 Amazon EC2 Trn1 인스턴스는 고성능 ML 교육에 적합합니다. 추론의 경우, 2세대 Inferentia2를 기반으로 하는 Amazon EC2 Inf2 인스턴스는 이전 세대 추론 기반 인스턴스보다 4배 높은 처리량과 최대 10배 낮은 지연 시간을 제공합니다.

자세히 알아보기 »

비용 효율성

다양한 인프라 서비스를 바탕으로 예산에 적합한 인프라를 선택할 수 있습니다. AWS Trainium 기반 Amazon EC2 Trn1 인스턴스는 교육 비용을 50% 절감하며, AWS Inferentia2 기반 Amazon EC2 Inf2 인스턴스는 동급 Amazon EC2 인스턴스보다 최대 40% 뛰어난 가격 대비 성능을 제공합니다. 이렇게 절감한 비용을 재투자하여 혁신을 가속화하고 비즈니스를 키울 수 있습니다.

자세히 알아보기 »

지속 가능성

AWS는 2040년까지 Amazon의 목표인 탄소 넷제로(net-zero) 목표를 향해 노력하고 있습니다. 완전 관리형 ML 서비스인 Amazon SageMaker는 프로덕션 환경에서 ML 모델을 교육 및 배포하는 동시에 에너지 효율성과 전력 소비 감소에 최적화된 ML 액셀러레이터를 제공합니다. AWS Trainium, AWS Inferentia2 같은 ML 액셀러레이터로 구동되는 Amazon EC2 인스턴스는 다른 유사한 Amazon EC2 인스턴스보다 와트당 최대 50% 뛰어난 성능을 제공합니다.

자세히 알아보기 »

확장성

AWS 고객은 실제로 무제한의 컴퓨팅, 네트워크 및 스토리지에 액세스하여 규모를 조정할 수 있습니다. 필요에 따라 하나의 GPU 또는 ML 액셀러레이터에서 수천 개의 스토리지로, 테라바이트에서 페타바이트 단위로 스토리지를 스케일 업하거나 스케일 다운할 수 있습니다. 클라우드를 사용하면 모든 가능한 인프라에 투자하지 않아도 됩니다. 대신, 탄력적 컴퓨팅, 스토리지 및 네트워킹을 활용할 수 있습니다.

자세히 알아보기 »

널리 사용되는 ML 프레임워크 지원

AWS 컴퓨팅 인스턴스는 TensorFlow 및 PyTorch와 같은 주요 ML 프레임워크를 지원합니다. 또한, 다양한 ML 사용 사례를 위해 Hugging Face와 같은 모델 라이브러리와 도구 키트도 지원합니다. AWS Deep Learning AMI(AWS DLAMI) 및 AWS Deep Learning Container(AWS DLC)에는 클라우드에서 딥 러닝을 가속화하기 위해 ML 프레임워크 및 도구 키트를 위한 최적화 기능이 사전에 설치되어 제공됩니다.

자세히 알아보기 »

성공 사례

Pepperstone
Pepperstone은 AWS ML 인프라를 사용하여 매월 40,000명 이상의 순 방문자에게 원활한 글로벌 거래 경험을 제공합니다. Amazon SageMaker를 사용하여 ML 모델의 생성 및 배포를 자동화합니다. SageMaker로 전환하여 DevOps와 데이터 과학 팀 간의 마찰을 줄이고 ML 모델 교육 시간을 180시간에서 4.3시간으로 줄일 수 있었습니다.

사례 연구 보기 »
Finch Computing
Finch Computing은 AWS 기반 PyTorch와 함께 AWS Inferentia를 사용하여 언어 번역과 엔터티 명확화 등의 NLP 작업을 수행하는 ML 모델을 구축함으로써 GPU에 비해 추론 비용을 80% 이상 절감합니다.

사례 연구 보기 »
Amazon Robotics
Amazon Robotics는 Amazon SageMaker를 사용하여 Amazon 주문 처리 센터의 수동 스캔을 대체하는 정교한 기계 학습 모델을 개발했습니다. Amazon Robotics는 Amazon SageMaker와 AWS Inferentia를 사용하여 추론 비용을 거의 50% 절감했습니다.

사례 연구 보기 »
Money Forward
Money Forward는 대규모 AI 챗봇 서비스를 Amazon EC2 Inf1 인스턴스에서 출시하여 추론 지연 시간을 비교 가능한 GPU 기반 인스턴스 대비 97% 단축하는 동시에 비용도 절감했습니다. 또한 Inf1 인스턴스로의 성공적 마이그레이션을 기반으로 AWS Trainium 기반 EC2 Trn1 인스턴스를 평가하여 종합적인 ML 성능 및 비용을 개선하고 있습니다.

자세히 알아보기 »
Rad AI
Rad AI는 AI를 사용하여 방사선 워크플로를 자동화하고 방사선 보고를 간소화하는 데 도움을 줍니다. 새로운 Amazon EC2 P4d 인스턴스를 통해 Rad AI는 보다 빠른 추론을 확보하고 2.4배 더 빠르고 더 정확하게 모델을 훈련할 수 있습니다.

사례 연구 보기 »
Amazon Alexa
"Amazon Web Services에서 제공하는 Amazon Alexa의 AI 및 ML 기반 인텔리전스는 오늘날 1억 대 이상의 장치에서 사용 가능하며, 당사는 Alexa가 갈수록 더 스마트해지고, 더 진보한 대화를 나누고, 더 능동적이고, 더 만족스러운 경험을 제공할 것을 고객에게 약속드립니다. 이 약속을 지키려면 응답 시간과 기계 학습 인프라 비용의 지속적인 개선이 필요합니다. 당사는 Amazon EC2 Inf1을 사용하여 Alexa 텍스트를 음성으로 변환 기능의 추론 대기 시간을 줄이고 추론당 비용을 낮출 수 있게 된 것을 기쁘게 생각합니다. Amazon EC2 Inf1을 통해 당사는 매월 Alex를 사용하는 수천만 고객에게 더 나은 서비스를 제공할 수 있게 되었습니다."

Tom Taylor, Amazon Alexa 수석 부사장
Autodesk
"Autodesk는 Inferentia를 사용하여 AI 기반 가상 비서인 Autodesk Virtual Agent(AVA)의 인지 기술을 발전시키고 있습니다. AVA는 자연어 이해(NLU) 및 딥 러닝 기술로 문의 내용 이면의 맥락, 의도 및 의미를 추출하여 매달 100,000개 이상의 고객 질문에 답합니다. Inferentia를 조종하면서 NLU 모델의 처리량을 G4dn의 4.9배로 높일 수 있었으며 Inferentia 기반 Inf1 인스턴스에서 더 많은 워크로드를 실행할 수 있기를 기대합니다."

Binghui Ouyang, Autodesk 선임 데이터 사이언티스트
Sprinklr
“Sprinklr은 마케팅, 광고, 연구, 고객 관리, 영업 및 소셜 미디어 참여를 위한 다양한 애플리케이션을 결합하는 통합 고객 경험 관리(통합 CXM) 플랫폼을 제공합니다. 언제나 목표는 지연 시간을 줄여서 더 나은 고객 경험을 제공하는 것입니다. Amazon EC2 Inf1 인스턴스를 사용하여 이러한 목표를 달성할 수 있습니다.”

Jamal Mazhar, Sprinklr 인프라 및 DevOps 담당 부사장

사례 연구 보기 »