Sprinklr riduce i costi di inferenza del machine learning su AWS Inferentia

Sprinklr fornisce una piattaforma unificata di gestione dell'esperienza dei clienti (Unified-CXM) che combina diverse applicazioni per il marketing, la pubblicità, la ricerca, l'assistenza clienti, le vendite e il coinvolgimento sui social media. In qualità di azienda incentrata sul cloud, Sprinklr cerca sempre di migliorare l'efficienza e ottimizzare i risparmi sui costi. Per raggiungere i suoi obiettivi, l'azienda utilizza Amazon Web Services (AWS), in particolare Amazon Elastic Compute Cloud (Amazon EC2), il quale fornisce una capacità di elaborazione sicura e ridimensionabile nel cloud.

Nel 2021, Sprinklr ha avuto l'opportunità di provare le istanze Inf1 di Amazon EC2, basate su AWS Inferentia, un chip di inferenza di machine learning (ML) ad alte prestazioni sviluppato da zero e ottimizzato per applicazioni di inferenza ML. Migrando i suoi carichi di lavoro in tempo reale sulla sua piattaforma Unified-CXM da istanze Amazon EC2 basate su GPU ad AWS Inferentia, Sprinklr ha ottenuto un notevole risparmio sui costi e ha registrato una riduzione della latenza di oltre il 30% su tali carichi di lavoro. Inoltre, riducendo la latenza, l'azienda ha anche migliorato le prestazioni dei suoi prodotti e servizi per i propri clienti.

Sprinklr, fondata nel 2009, è una società di software americana con dipendenti in tutto il mondo. L'azienda è stata una delle prime ad adottare nuovi servizi AWS e la sua missione è aiutare le organizzazioni di tutto il mondo a rendere più felici i propri clienti. Offre oltre 31 diversi prodotti software in 4 solide suite e ha sviluppato un motore avanzato di intelligenza artificiale proprietario per consentire alle aziende di analizzare i dati disponibili al pubblico e interagire con i clienti attraverso 30 canali digitali e social. Con Sprinklr, le aziende possono collaborare tra team interni e canali digitali esterni per creare una migliore esperienza del cliente.

Sprinklr cerca sempre di migliorare l'esperienza del cliente riducendo al contempo i costi di elaborazione e ottimizzando l'efficienza. "Il nostro obiettivo è utilizzare sempre la tecnologia più recente in modo da poter ottenere maggiori risparmi sui costi", afferma Jamal Mazhar, VP of Infrastructure and DevOps di Sprinklr. Sprinklr sperava di ridurre la latenza e al tempo stesso i costi dell'inferenza ML e si è rivolta alle innovazioni di AWS per affrontare queste sfide. "Quando siamo venuti a conoscenza di AWS Inferentia, è stato naturale per noi tenerne conto per le nostre iniziative in materia di costi", afferma Yogin Patel, senior director of product engineering, artificial intelligence di Sprinklr. Con l'obiettivo di ridurre i costi di elaborazione e migliorare la soddisfazione dei clienti, Sprinklr ha iniziato a testare le istanze Inf1 di Amazon EC2 nel luglio 2021.

La piattaforma Unified-CXM di Sprinklr utilizza algoritmi ML su dati non strutturati provenienti da molti canali diversi per fornire informazioni approfondite ai propri clienti. Ad esempio, i modelli ML di elaborazione del linguaggio naturale e visione artificiale dell'azienda analizzano diversi formati di dati provenienti da post sui social media, post di blog, contenuti video e altri contenuti disponibili su domini pubblici in più di 30 canali. Sprinklr è in grado di estrapolare il sentiment e le intenzioni dei clienti da questi contenuti per fornire informazioni approfondite sui prodotti ai propri clienti. Attualmente, l'azienda esegue circa 10 miliardi di previsioni al giorno sui suoi oltre 500 modelli. Sprinklr divide i suoi carichi di lavoro in due gruppi: latenza ottimizzata e velocità di trasmissione effettiva ottimizzata. La latenza si riferisce al tempo impiegato da un'inferenza per raggiungere la sua destinazione, mentre la velocità di trasmissione effettiva si riferisce al numero di pacchetti che vengono elaborati in un periodo di tempo specifico. "Se la latenza diminuisce del 20% anche in un solo modello, ciò si traduce in un notevole risparmio sui costi", afferma Patel.

I chip AWS Inferentia dispongono di una grande quantità di memoria su chip che può essere utilizzata per memorizzare nella cache modelli di grandi dimensioni, anziché archiviarli off-chip. Questo può avere un impatto significativo sulla riduzione della latenza di inferenza, poiché i core di elaborazione di AWS Inferentia, denominati NeuronCore, hanno un accesso ad alta velocità ai modelli che sono archiviati nella memoria su chip e non sono limitati dalla larghezza di banda della memoria off-chip. NeuronCore fornisce anche inferenza ad alte prestazioni nel cloud a costi significativamente inferiori e facilita agli sviluppatori l'integrazione del machine learning nelle loro applicazioni aziendali.

Quando Sprinklr ha iniziato a migrare i modelli alle istanze Inf1 di Amazon EC2 e a eseguire test di benchmark, l'azienda ha registrato una riduzione della latenza di oltre il 30% sui carichi di lavoro ottimizzati per la latenza. "Siamo sempre interessati a testare nuovi servizi AWS, a sperimentare carichi di lavoro e a confrontare nuove istanze", afferma Patel. Vista la latenza significativamente ridotta che AWS Inferentia è stata in grado di fornire nei test, Sprinklr ha deciso di migrare tutti i suoi carichi di lavoro ottimizzati per la latenza alle istanze Inf1 di Amazon EC2. "L'obiettivo è sempre quello di avere una latenza inferiore, il che significa una migliore esperienza del cliente", afferma Mazhar. "Utilizzando le istanze Inf1 di Amazon EC2, siamo in grado di raggiungere questo obiettivo".

Dopo aver migrato circa 20 modelli su istanze Inf1 di Amazon EC2, Sprinklr ha iniziato a migrare i suoi modelli di visione artificiale e di testo per migliorare l'efficienza e ridurre i costi. Il team è ora in grado di implementare un modello utilizzando le istanze Inf1 di Amazon EC2 in meno di 2 settimane. Durante la migrazione ad AWS Inferentia, l'azienda ha trovato il processo semplice grazie alle ampie risorse e al supporto disponibili. "Siamo riusciti a metterci rapidamente in contatto con i team giusti", aggiunge Mazhar. "Il supporto di AWS ci aiuta a migliorare la soddisfazione dei nostri clienti e la produttività del personale".

Man mano che Sprinklr continuerà a migrare i modelli ad AWS Inferentia, aggiungerà altri modelli relativi alla voce, tra cui il riconoscimento vocale automatico e il riconoscimento degli intenti, per aiutare le aziende a interagire ulteriormente con i propri clienti. Sprinklr prevede che l'implementazione di questi modelli su AWS Inferentia offrirà ai propri clienti le prestazioni e la bassa latenza di cui hanno bisogno, a costi notevolmente inferiori.