Finch Computing riduce i costi di inferenza dell'80% utilizzando AWS Inferentia per la traduzione linguistica

Con uffici a Reston, Virginia, e Dayton, Ohio, Finch, una combinazione delle parole "find" (trova) e "search" (cerca), serve società di media e aggregatori di dati, organizzazioni governative e di intelligence statunitensi, oltre a società di servizi finanziari. I suoi prodotti sono incentrati sulla tecnologia NLP, un sottoinsieme dell'intelligenza artificiale che addestra i modelli a comprendere le sfumature del linguaggio umano, compresa la decifrazione del tono e dell'intento. Il suo prodotto Finch for Text utilizza calcoli di machine learning (ML) densi e paralleli che si basano su elaborazione accelerata e ad alte prestazioni, così da poter fornire informazioni approfondite quasi in tempo reale ai clienti sulle loro risorse informative. Ad esempio, la sua funzione di disambiguazione delle entità offre ai clienti la possibilità di interpretare il significato corretto di una parola che ha più significati o ortografie.

Finch ha ampliato le sue capacità per supportare l'olandese, il che ha fatto nascere l'idea che fosse necessario espandersi ulteriormente per includere francese, tedesco, spagnolo e altre lingue. Questa decisione è stata utile non solo perché i clienti di Finch avevano molti contenuti in quelle lingue, ma anche perché i modelli in grado di supportare lingue aggiuntive potevano attirare nuovi clienti. Finch aveva bisogno di trovare un modo per elaborare una quantità significativa di dati aggiuntivi senza influire sulla velocità di trasmissione effettiva o sui tempi di risposta, sui fattori critici per i suoi clienti o sull'aumento dei costi di implementazione.

In occasione di AWS re:Invent 2021, una conferenza annuale organizzata da AWS per la comunità globale del cloud computing, i rappresentanti di Finch sono venuti a conoscenza delle istanze basate su AWS Inferentia in Amazon Elastic Compute Cloud (Amazon EC2), che offre capacità di elaborazione sicura e ridimensionabile praticamente per qualsiasi carico di lavoro. AWS ha presentato Finch al partner AWS Slalom, una società di consulenza focalizzata su strategia, tecnologia e trasformazione aziendale. Per 2 mesi, dopo AWS re:Invent, i membri del team di Slalom e Finch hanno lavorato alla creazione di una soluzione conveniente. "Oltre a ricevere indicazioni dal team AWS, ci siamo messi in contatto con Slalom, che ci ha aiutato a ottimizzare i nostri carichi di lavoro e ad accelerare questo progetto", afferma Scott Lightner, fondatore e Chief Technology Officer di Finch.

Insieme, Finch e Slalom hanno creato una soluzione che ha ottimizzato l'uso delle istanze Inf1 di Amazon EC2 basate su AWS Inferentia, le quali forniscono inferenze ML ad alte prestazioni a basso costo nel cloud. "Dato il costo delle GPU, semplicemente non avremmo potuto offrire ai nostri clienti lingue aggiuntive mantenendo il nostro prodotto redditizio", afferma Lightner. "Le istanze Inf1 di Amazon EC2 hanno cambiato questa equazione per noi".

I modelli di traduzione proprietari di deep learning dell'azienda erano eseguiti su PyTorch su AWS, un framework di deep learning open source che semplifica lo sviluppo di modelli ML e la loro implementazione in produzione. Finch ha utilizzato Docker per containerizzare e implementare i suoi modelli PyTorch. Finch ha migrato questi modelli ad alta capacità di calcolo da istanze basate su GPU a istanze Inf1 di Amazon EC2 basate su AWS Inferentia. Le istanze Inf1 di Amazon EC2 sono state create per accelerare una serie diversificata di modelli, dalla visione artificiale alla tecnologia NLP. Il team è riuscito a creare una soluzione che combinasse le dimensioni dei modelli mantenendo la stessa velocità di trasmissione effettiva di quando si utilizzavano le GPU, ma a un costo notevolmente inferiore. "Utilizzando AWS Inferentia, siamo in grado di ottenere la velocità di trasmissione effettiva e le prestazioni necessarie a un prezzo accessibile ai nostri clienti", afferma Lightner.

La strategia prevedeva l'implementazione di container Docker su Amazon Elastic Container Service (Amazon ECS), un servizio di orchestrazione dei container completamente gestito che semplifica per le organizzazioni l'implementazione, la gestione e la scalabilità delle applicazioni containerizzate. La soluzione incorporava le AWS Deep Learning AMI (DLAMI), ambienti preconfigurati per creare rapidamente applicazioni di deep learning. Finch ha inserito le AMI di AWS Inferentia nella sua pipeline DevOps e ha aggiornato i suoi modelli Infrastructure-as-a-Code allo scopo di utilizzare AWS Inferentia per eseguire container personalizzati con Amazon ECS. "Una volta eseguita la nostra pipeline DevOps su istanze Inf1 di Amazon EC2 e Amazon ECS, siamo stati in grado di implementare rapidamente più modelli di deep learning", afferma Franz Weckesser, chief architect di Finch. Infatti, Finch ha creato un modello per supportare la lingua ucraina in soli 2 giorni. Nel giro di pochi mesi Finch ha implementato tre modelli di ML aggiuntivi, che supportano la tecnologia NLP in tedesco, francese e spagnolo, oltre a migliorare le prestazioni del suo modello olandese esistente.

Utilizzando le istanze Inf1 di Amazon EC2 l'azienda ha incrementato la velocità di sviluppo di questi nuovi prodotti, riducendo al contempo i costi di inferenza di oltre l'80%. L'aggiunta dei nuovi modelli ha attirato clienti interessati ad acquisire informazioni approfondite dalle lingue aggiuntive e ha ricevuto feedback positivi dai clienti esistenti. "Apportare modifiche sostanziali all'infrastruttura comporta sempre delle sfide", afferma Lightner. "Ma siamo riusciti a superarle rapidamente grazie alla perseveranza del nostro team con l'aiuto di Slalom e AWS. Il risultato finale ne è valsa la pena".

Finch intende continuare a migrare altri modelli su AWS Inferentia. Questi modelli includono Sentiment Assignment, in grado di identificare un contenuto come positivo, negativo o neutro, e una nuova funzionalità chiamata Relationship Extraction, un'applicazione ad alta intensità di calcolo che scopre le relazioni tra le entità menzionate nel testo. E Finch continua ad aggiungere nuove lingue, con piani per l'arabo, il cinese e il russo. "La nostra esperienza di lavoro su AWS Inferentia è stata eccezionale", afferma Lightner. "È stato fantastico avere un fornitore di servizi cloud che collabora con noi e ci aiuta a scalare man mano che la nostra attività cresce".