Finch Computing, 언어 번역에 AWS Inferentia를 사용하여 추론 비용 80% 절감

버지니아주 레스턴과 오하이오주 데이턴에서 사무소를 운영하고 있으며 ‘find’와 ‘search’라는 단어를 조합하여 사명을 지은 Finch는 미디어 기업 및 데이터 애그리게이터, 미국 정부 및 정보기관, 금융 서비스 회사에 서비스를 제공합니다. Finch의 제품은 어조와 의도를 해독하는 등 인간 언어의 미묘한 차이를 이해하도록 모델을 교육하는 인공 지능의 하위 집합인 NLP에 주로 기반합니다. Finch의 제품인 Finch for Text는 고성능 가속 컴퓨팅에 의존하는 고밀도 병렬 기계 학습(ML) 계산을 사용하므로 고객에게 정보 자산에 대한 인사이트를 실시간으로 제공할 수 있습니다. 예를 들어, 개체 명확화 기능을 통해 고객은 다의어 또는 동의어의 정확한 의미를 해석할 수 있습니다.

Finch는 네덜란드어를 지원하도록 기능을 확장했으며 프랑스어, 독일어, 스페인어 및 기타 언어를 포함하도록 더 확장하려고 했습니다. 이러한 결정은 Finch의 고객이 해당 언어로 된 콘텐츠를 많이 보유하고 있을 뿐만 아니라 모델이 추가 언어를 지원할 경우 신규 고객을 유치할 수 있기 때문에 중요했습니다. Finch는 처리량이나 응답 시간, 클라이언트의 중요 요소 또는 증가하는 배포 비용에 영향을 주지 않으면서 상당한 양의 추가 데이터를 처리할 방법을 찾아야 했습니다.

AWS가 글로벌 클라우드 컴퓨팅 커뮤니티를 위해 주최하는 연례 컨퍼런스인 AWS re:Invent 2021에서 Finch 담당자는 거의 모든 워크로드에 적합하고, 안전하고, 조정 가능한 컴퓨팅 용량을 제공하는 Amazon Elastic Compute Cloud(Amazon EC2)의 AWS Inferentia 기반 인스턴스에 대해 알게 되었습니다. AWS는 전략, 기술, 비즈니스 혁신에 중점을 둔 컨설팅 회사인 AWS Partner Slalom에 Finch를 소개했습니다. AWS re:Invent 이후 2개월 동안 Slalom 및 Finch 팀원들은 비용 효율적인 솔루션을 구축하기 위해 노력했습니다. Finch의 설립자이자 최고 기술 책임자인 Scott Lightner는 “AWS 팀의 가이드를 비롯해 Slalom과 교류한 것이 워크로드를 최적화하고 이 프로젝트를 가속화하는 데 도움이 되었습니다.”라고 말합니다.

Finch와 Slalom은 협력하여 클라우드에서 저렴한 비용으로 고성능 ML 추론을 제공하는 AWS Inferentia를 기반으로 Amazon EC2 Inf1 인스턴스 사용을 최적화하는 솔루션을 구축했습니다. “GPU 비용을 고려할 때 제품의 수익성을 유지하면서 고객에게 추가 언어를 제공할 수는 없다는 것이 기정사실이었습니다.”라고 Lightner는 말합니다. “하지만 Amazon EC2 Inf1 인스턴스는 이러한 공식을 바꾸어 놓았습니다.”

이 회사의 독점 딥 러닝 번역 모델은 ML 모델을 간단히 개발하고 프로덕션에 배포할 수 있게 해주는 오픈 소스 딥 러닝 프레임워크인 PyTorch on AWS에서 실행되었습니다. Finch는 Docker를 사용하여 PyTorch 모델을 컨테이너화하고 배포했습니다. Finch는 이러한 컴퓨팅 집약형 모델을 GPU 기반 인스턴스에서 AWS Inferentia를 기반으로 하는 Amazon EC2 Inf1 인스턴스로 마이그레이션했습니다. Amazon EC2 Inf1 인스턴스는 컴퓨터 비전에서 NLP에 이르는 다양한 모델 세트를 가속화하기 위해 구축되었습니다. 이 팀은 모델 크기를 혼합하고 GPU를 사용할 때와 동일한 처리량을 유지하면서 비용을 크게 절감할 솔루션을 구축할 수 있었습니다. “AWS Inferentia를 사용하여 고객이 감당할 수 있는 가격대로 필요한 처리량과 성능을 얻을 수 있게 되었습니다.”라고 Lightner는 말합니다.

이 전략에는 조직이 컨테이너화식 애플리케이션의 손쉬운 배포, 관리 및 크기 조정을 지원하는 완전관리형 컨테이너 오케스트레이션 서비스인 Amazon Elastic Container Service(Amazon ECS)에 Docker 컨테이너를 배포하는 것이 포함되었습니다. 이 솔루션에서는 딥 러닝 애플리케이션을 빠르게 구축할 수 있도록 사전 구성된 환경인 AWS Deep Learning AMI(DLAMI)를 통합했습니다. Finch는 AWS Inferentia AMI를 DevOps 파이프라인에 연결하고 AWS Inferentia를 사용하여 Amazon ECS를 통해 사용자 지정된 컨테이너를 실행하도록 코드형 인프라 템플릿을 업데이트했습니다. Finch의 수석 아키텍트인 Franz Weckesser는 “Amazon EC2 Inf1 인스턴스와 Amazon ECS에서 DevOps 파이프라인을 실행한 후 더 많은 딥 러닝 모델을 빠르게 배포할 수 있었습니다.”라고 말합니다. 실제로 Finch는 우크라이나어를 지원하는 모델을 단 2일 만에 구축했습니다. 몇 달 내에 Finch는 독일어, 프랑스어, 스페인어로 NLP를 지원하는 ML 모델 3개를 추가로 배포하고 기존 네덜란드 모델의 성능을 개선했습니다.

Finch는 Amazon EC2 Inf1 인스턴스를 사용하여 추론 비용을 80% 이상 줄이면서 신제품 개발 속도를 개선했습니다. 새 모델을 추가하면서 추가된 언어를 통해 인사이트를 얻고자 하는 고객의 관심을 끌고 기존 고객에게서 긍정적인 피드백을 받게 되었습니다. Lightner는 “인프라를 전면적으로 변경하는 데는 항상 어려움이 따릅니다.”라고 말합니다. “하지만 팀의 끈기 있는 노력과 Slalom 및 AWS의 도움으로 이러한 문제를 빠르게 극복할 수 있었습니다. 최종 결과는 그만한 가치가 있었습니다.”

Finch는 계속해서 더 많은 모델을 AWS Inferentia로 마이그레이션할 계획입니다. 이러한 모델에는 콘텐츠를 긍정적, 부정적 또는 중립적으로 식별하는 감정 분석과 텍스트에 언급된 개체 간의 관계를 검색하는 컴퓨팅 집약적 애플리케이션인 관계 추출이라는 새로운 기능이 포함됩니다. Finch는 계속해서 새로운 언어를 추가하고 있으며 다음에는 아랍어, 중국어, 러시아어를 추가할 계획입니다. “AWS Inferentia의 작업 경험은 훌륭했습니다.”라고 Lightner는 말합니다. “함께 협력하고 비즈니스 성장에 따라 확장할 수 있도록 도와주는 클라우드 공급자가 있다는 것은 정말 대단한 일입니다.”