Sprinklr, AWS Inferentia로 기계 학습 추론 비용 절감

Sprinklr은 마케팅, 광고, 연구, 고객 관리, 영업 및 소셜 미디어 참여를 위한 다양한 애플리케이션을 결합하는 통합 고객 경험 관리(통합 CXM) 플랫폼을 제공합니다. 클라우드 우선 기업인 Sprinklr은 항상 효율성을 개선하고 비용 절감을 최적화하기 위해 노력하고 있습니다. 이 회사는 목표 달성을 위해 Amazon Web Services(AWS), 특히 클라우드에서 안전하고 크기 조정 가능한 컴퓨팅 용량을 제공하는 Amazon Elastic Compute Cloud(Amazon EC2)를 사용합니다.

2021년 Sprinklr은 ML 추론 애플리케이션 대상 최적화를 목적으로 구축된 고성능 기계 학습(ML) 추론 칩인 AWS Inferentia를 기반으로 하는 Amazon EC2 Inf1 인스턴스를 사용해 볼 기회를 얻게 되었습니다. Sprinklr은 통합 CXM 플랫폼의 실시간 워크로드를 GPU 기반 Amazon EC2 인스턴스에서 AWS Inferentia로 마이그레이션하여 상당한 비용을 절감하고 해당 워크로드의 지연 시간을 30% 이상 줄였습니다. 지연 시간 단축에 따라 고객을 위한 제품 및 서비스 성능도 개선되었습니다.

2009년에 설립된 Sprinklr은 전 세계에 직원을 둔 미국 소프트웨어 회사입니다. Sprinklr은 새로운 AWS 서비스의 얼리 어답터이며, 전 세계 조직이 고객을 더욱 만족하게 만들도록 돕는 것을 사명으로 삼고 있습니다. Sprinklr은 4개의 강력한 제품군에서 31개 이상의 소프트웨어 제품을 제공하며, 기업이 공개적으로 사용 가능한 데이터를 분석하고 30개의 디지털 및 소셜 채널을 통해 고객과 소통할 수 있는 고급 독점 인공 지능 엔진을 개발했습니다. Sprinklr을 통해 기업은 내부 팀과 외부 디지털 채널 간에 협력하여 더 나은 고객 경험을 조성할 수 있습니다.

Sprinklr은 컴퓨팅 비용을 절감하고 효율성을 최적화하면서 고객 경험을 개선하기 위해 항상 노력하고 있습니다. “당사의 목표는 항상 최신 기술을 활용하여 큰 비용을 절감하는 것입니다.”라고 Sprinklr의 인프라 및 DevOps 담당 부사장인 Jamal Mazhar는 말합니다. Sprinklr은 ML 추론 비용을 낮추면서 지연 시간을 줄이고자 했으며 이러한 문제를 해결할 수 있는 AWS의 혁신적인 솔루션을 모색했습니다. Sprinklr의 인공 지능 제품 엔지니어링 담당 수석 이사인 Yogin Patel은 “AWS Inferentia에 대해 알게 되었을 때 비용 이니셔티브를 촉진하려는 목적으로 자연스럽게 AWS Inferentia를 고려하게 되었습니다.”라고 말합니다. Springlr은 컴퓨팅 비용을 줄이고 고객 만족도를 높이기 위해 2021년 7월에 Amazon EC2 Inf1 인스턴스를 테스트하기 시작했습니다.

Sprinklr의 통합 CXM 플랫폼은 다양한 채널에서 소싱된 비정형 데이터에 ML 알고리즘을 사용하여 고객에게 인사이트를 제공합니다. 예를 들어, Sprinklr의 자연어 처리와 컴퓨터 비전 기계 학습 모델은 소셜 미디어 포스트, 블로그 포스트, 동영상 콘텐츠, 30개가 넘는 채널 전반에 있는 퍼블릭 도메인 상에서 사용 가능한 다른 콘텐츠에서 얻은 다양한 데이터 형식을 분석합니다. Springlr은 이 콘텐츠에서 고객의 감정과 의도를 도출하여 고객에게 제품 인사이트를 제공할 수 있습니다. 현재 Springlr은 500개 이상의 모델에서 매일 약 100억 건의 예측을 실행합니다. Springlr은 워크로드를 두 그룹(지연 시간 최적화 및 처리량 최적화)으로 나눕니다. 지연 시간은 추론이 목적지에 도달하는 데 걸리는 시간을 의미하고, 처리량은 특정 기간 내에 처리되는 패킷 수를 나타냅니다. Patel은 “단 한 모델이라도 지연 시간이 20% 감소한다면 상당한 비용 절감 효과가 있습니다.”라고 말합니다.

AWS Inferentia는 칩 외부에 모델을 저장하지 않고 대용량 모델을 캐싱하는 데 사용할 수 있는 대용량 온칩 메모리를 제공합니다. AWS Inferentia의 처리 코어인 NeuronCore는 온칩 메모리에 저장된 모델에 고속으로 액세스할 수 있고 칩의 오프칩 메모리 대역폭에 의해 제한되지 않으므로 추론 지연 시간을 줄이는 데 큰 영향을 끼칩니다. 또한 NeuronCore는 클라우드에서 상당히 낮은 비용으로 고성능 추론을 제공하며, 이를 통해 개발자는 ML을 비즈니스 애플리케이션에 쉽게 통합할 수 있습니다.

Sprinklr이 모델을 Amazon EC2 Inf1 인스턴스로 마이그레이션하고 벤치마크 테스트를 실행하기 시작했을 때 지연 시간에 최적화된 워크로드에서 지연 시간이 30% 이상 감소하는 것을 확인했습니다. “당사는 항상 새로운 AWS 서비스를 테스트하고, 워크로드를 실험하며, 새 인스턴스를 벤치마킹하는 데 관심이 있습니다.”라고 Patel은 말합니다. 테스트에서 AWS Inferentia가 제공하는 큰 폭의 지연 시간 단축을 확인한 Sprinklr은 지연 시간에 최적화된 모든 워크로드를 Amazon EC2 Inf1 인스턴스로 마이그레이션하기로 했습니다. Mazhar는 “항상 지연 시간을 줄이는 것이 목표이며, 이는 곧 더 나은 고객 경험을 의미합니다.”라고 말합니다. “Amazon EC2 Inf1 인스턴스를 사용하여 이러한 목표를 달성할 수 있습니다.”

약 20개의 모델을 Amazon EC2 Inf1 인스턴스로 마이그레이션한 후 Sprinklr은 효율성 향상과 비용 절감을 위해 컴퓨터 비전과 텍스트 모델을 마이그레이션하기 시작했습니다. 이제 팀은 Amazon EC2 Inf1 인스턴스를 사용하여 2주 이내에 모델을 배포할 수 있습니다. Sprinklr은 AWS Inferentia로 마이그레이션하면서 충분한 리소스와 지원이 제공되어 프로세스가 간소화되는 것을 확인했습니다. Mazhar는 “적합한 팀에 빠르게 연락할 수 있었습니다.”라고 말합니다. “AWS의 지원은 고객 만족도와 직원 생산성을 높이는 데 도움이 됩니다.”

Sprinklr은 모델을 AWS Inferentia로 계속 마이그레이션하면서 자동 음성 인식 및 의도 인식을 비롯한 더 많은 음성 관련 모델을 추가하여 기업이 고객과 더 많이 소통할 수 있도록 지원할 예정입니다. Sprinklr은 이러한 모델을 AWS Inferentia를 통해 배포하여 고객이 상당히 낮은 비용으로 필요한 성능과 짧은 지연 시간을 확보할 수 있을 것으로 기대합니다.