Istanze Inf2 di Amazon EC2

"Il nostro team di Leonardo sfrutta l'IA generativa per consentire ai professionisti e agli appassionati creativi di produrre risorse visive con qualità, velocità e coerenza stilistica senza pari. Il rapporto prezzo/prestazioni di AWS Inf2 Utilizzando AWS Inf2 siamo in grado di ridurre i nostri costi dell'80%, senza sacrificare le prestazioni, cambiando radicalmente la proposta di valore che possiamo offrire ai clienti, abilitando le nostre funzionalità più avanzate a un prezzo più accessibile. Inoltre, allevia le preoccupazioni relative ai costi e alla disponibilità della capacità per i nostri servizi di intelligenza artificiale ausiliari, che sono sempre più importanti man mano che cresciamo e dimensioniamo. È una tecnologia abilitante fondamentale per noi mentre continuiamo a superare i limiti di ciò che è possibile con l'IA generativa, consentendo una nuova era di creatività e potenza espressiva per i nostri utenti".

Pete Werner, Head of AI, Leonardo.ai

"In Runway, la nostra suite di AI Magic Tools consente ai nostri utenti di generare e modificare contenuti come mai prima d'ora. Stiamo costantemente superando i limiti di ciò che è possibile fare con la creazione di contenuti basata sull'intelligenza artificiale e, man mano che i nostri modelli di intelligenza artificiale diventano più complessi, i costi di infrastruttura alla base dell'esecuzione di questi modelli su larga scala possono diventare costosi. Grazie alla nostra collaborazione con le istanze Inf2 di Amazon EC2 basate su AWS Inferentia, siamo in grado di eseguire alcuni dei nostri modelli con una velocità di trasmissione effettiva fino a 2 volte superiore rispetto a istanze simili basate su GPU. Questa inferenza ad alte prestazioni e a basso costo ci consente di introdurre più funzionalità, implementare modelli più complessi e, in definitiva, offrire un'esperienza migliore ai milioni di creatori che utilizzano Runway".

Cristóbal Valenzuela, cofondatore e CEO, Runway

Qualtrics progetta e sviluppa software per la gestione delle esperienze.

"In Qualtrics, il nostro obiettivo è definire una tecnologia che colmi le lacune di esperienza per clienti, dipendenti, marchi e prodotti. A tal fine, stiamo sviluppando modelli di deep learning multi-task e multi-modali complessi per lanciare nuove funzionalità, come la classificazione dei testi, il tagging delle sequenze, l'analisi del discorso, l'estrazione di frasi chiave, l'estrazione di argomenti, il clustering e la comprensione delle conversazioni end-to-end. Con l'utilizzo di questi modelli più complessi in un numero maggiore di applicazioni, il volume dei dati non strutturati aumenta e abbiamo bisogno di soluzioni ottimizzate per l'inferenza con migliori prestazioni in grado di soddisfare tali richieste, come le istanze Inf2, per offrire esperienze soddisfacenti ai nostri clienti. Siamo entusiasti delle nuove istanze Inf2 perché non solo ci permettono di raggiungere una velocità di trasmissione effettiva più elevata, riducendo drasticamente la latenza, ma introducono anche funzionalità come l'inferenza distribuita e il supporto avanzato per la forma dinamica degli input, che ci aiutano a dimensionare per soddisfare le esigenze di implementazione mentre ci spingiamo verso modelli più grandi e complessi".

Aaron Colak, Head of Core Machine Learning, Qualtrics

Finch Computing è un'azienda di tecnologia del linguaggio naturale che fornisce applicazioni di intelligenza artificiale a clienti collegati a enti pubblici, servizi finanziari e integratori di dati.

"Per soddisfare le esigenze dei nostri clienti in materia di elaborazione del linguaggio naturale in tempo reale, sviluppiamo modelli di deep learning all'avanguardia, in grado di dimensionare su grandi carichi di lavoro di produzione. Dobbiamo fornire transazioni a bassa latenza e raggiungere una velocità di trasmissione effettiva elevata per elaborare feed di dati globali. Abbiamo già migrato molti carichi di lavoro di produzione su istanze Inf1 e abbiamo ottenuto una riduzione dei costi dell'80% rispetto alle GPU. Ora stiamo sviluppando modelli più grandi e complessi che consentono di ottenere un significato più profondo e dettagliato dal testo scritto. Molti dei nostri clienti hanno bisogno di accedere a queste informazioni in tempo reale e le prestazioni delle istanze Inf2 ci aiutano a garantire una latenza inferiore e una velocità di trasmissione effettiva superiore rispetto alle istanze Inf1. Grazie ai miglioramenti delle prestazioni di Inf2 e alle nuove funzionalità di Inf2, come il supporto per le dimensioni dinamiche degli input, stiamo migliorando la nostra efficienza in termini di costi, migliorando l'esperienza dei clienti in tempo reale e aiutando i nostri clienti a ricavare nuove informazioni dai loro dati".

Franz Weckesser, Chief Architect, Finch Computing

Money Forward, Inc. offre ad aziende e privati una piattaforma finanziaria aperta ed equa. Nell'ambito di tale piattaforma, HiTTO Inc., un'azienda del gruppo Money Forward, offre un servizio di chatbot IA, che utilizza modelli di elaborazione del linguaggio naturale (NLP) su misura per gestire le diverse esigenze dei clienti aziendali.

"Abbiamo lanciato un servizio di chatbot IA su larga scala sulle istanze Inf1 di Amazon EC2 e ridotto la nostra latenza di inferenza del 97% rispetto a istanze analoghe basate su GPU, riducendo al contempo i costi. Siamo stati molto lieti di vedere ulteriori miglioramenti delle prestazioni nei risultati dei nostri test iniziali sulle istanze Inf2 di Amazon EC2. Utilizzando lo stesso modello NLP personalizzato, AWS Inf2 è riuscito a ridurre ulteriormente la latenza di 10 volte rispetto a Inf1. Mentre passiamo a costosissimi modelli di parametri più grandi, Inf2 ci dà la certezza di poter continuare a fornire ai nostri clienti un'esperienza utente end-to-end superiore".

Takuya Nakade, CTO, Money Forward Inc.

"In Fileread.ai, stiamo creando soluzioni per rendere l'interazione con i documenti tanto semplice quanto porre domande, consentendo agli utenti di trovare ciò che cercano tra tutti i loro documenti e di ottenere le informazioni giuste più rapidamente. Da quando siamo passati alla nuova istanza Inf2 di EC2, abbiamo visto un miglioramento significativo nelle nostre capacità di inferenza NLP. I soli risparmi sui costi sono stati un punto di svolta per noi, consentendoci di allocare le risorse in modo più efficiente senza sacrificare la qualità. Abbiamo ridotto la latenza di inferenza del 33% e aumentato la velocità di trasmissione effettiva del 50%, soddisfacendo i nostri clienti con tempi di consegna più rapidi. Il nostro team è rimasto sbalordito dalla velocità e dalle prestazioni di Inf2 rispetto alle vecchie istanze G5 ed è chiaro che questo è il futuro nell'implementazione dei modelli NLP".

Daniel Hu, CEO, Fileread

"In Yaraku, la nostra missione è costruire l'infrastruttura che aiuti le persone a comunicare attraverso le barriere linguistiche. Il nostro prodotto di punta, YarakuZen, consente a chiunque, dai traduttori professionisti alle persone monolingue, di tradurre e modificare testi e documenti con sicurezza. Per supportare questo processo, offriamo una vasta gamma di strumenti sofisticati basati su modelli di deep learning, che coprono attività come traduzione, allineamento di parole bitext, segmentazione delle frasi, modellazione linguistica e molte altre. Grazie alle istanze Inf1, siamo riusciti a velocizzare i nostri servizi per soddisfare la crescente domanda riducendo al contempo i costi di inferenza di oltre il 50% rispetto alle istanze basate su GPU. Stiamo ora procedendo allo sviluppo di modelli più grandi di nuova generazione che richiederanno le funzionalità avanzate delle istanze Inf2 per soddisfare la domanda mantenendo una bassa latenza. Con Inf2, saremo in grado di aumentare la scalabilità dei nostri modelli di 10 volte mantenendo una velocità di trasmissione effettiva simile, consentendoci di offrire livelli di qualità ancora più elevati ai nostri clienti".

Giovanni Giacomo, NLP Lead, Yaraku

"La missione di Hugging Face è di democratizzare il machine learning per aiutare gli sviluppatori di ML di tutto il mondo a risolvere problemi nel mondo reale. E la chiave per farlo è garantire che i modelli più recenti e migliori vengano eseguiti nel modo più rapido ed efficiente possibile sui migliori chip ML del cloud. Siamo incredibilmente entusiasti del potenziale che Inferentia2 diventi il nuovo modo standard per implementare modelli di IA generativa su larga scala. Con Inf1, abbiamo registrato una riduzione dei costi fino al 70% rispetto alle tradizionali istanze basate su GPU e con Inf2 abbiamo riscontrato una latenza fino a 8 volte inferiore per i Transformers simili a BERT rispetto a Inferentia1. Con Inferentia2, la nostra community sarà in grado di adattare facilmente queste prestazioni agli LLM con parametri di oltre 100 B e ai più recenti modelli di diffusione e visione artificiale".  

"PyTorch accelera il percorso dalla prototipazione di ricerca alle implementazioni di produzione per gli sviluppatori di ML. Abbiamo collaborato con il team AWS per fornire supporto PyTorch nativo per le nuove istanze Amazon EC2 Inf2 basate su AWS Inferentia2. Poiché sempre più membri della nostra community cercano di implementare modelli di IA generativa di grandi dimensioni, siamo entusiasti di collaborare con il team AWS per ottimizzare l'inferenza distribuita sulle istanze Inf2 con connettività NeuronLink ad alta velocità tra i chip. Con Inf2, gli sviluppatori che utilizzano PyTorch possono ora implementare facilmente LLM e modelli di trasformatori di visione di grandi dimensioni. Inoltre, le istanze Inf2 offrono altre funzionalità innovative agli sviluppatori di PyTorch, tra cui tipi di dati efficienti, forme dinamiche, operatori personalizzati e arrotondamento stocastico ottimizzato per l'hardware, che le rendono adatte per un'ampia adozione da parte della comunità PyTorch". 

"Weights & Biases (W&B) fornisce strumenti di sviluppo per ingegneri di ML e data scientist per creare modelli migliori più velocemente. La piattaforma W&B fornisce ai professionisti del machine learning un'ampia varietà di informazioni per migliorare le prestazioni dei modelli, incluso l'utilizzo dell'infrastruttura di elaborazione sottostante. Abbiamo collaborato con il team AWS per aggiungere il supporto per Amazon Trainium e Inferentia2 al nostro pannello di controllo dei parametri di sistema, fornendo dati preziosi molto necessari durante la sperimentazione e la formazione dei modelli. Ciò consente ai professionisti del machine learning di ottimizzare i propri modelli per sfruttare appieno l'hardware appositamente creato da AWS per addestrare i propri modelli più velocemente e a costi inferiori".

Phil Gurbacki, VP of Product, Weights & Biases

"OctoML aiuta gli sviluppatori a ridurre i costi e creare applicazioni AI scalabili impacchettando i loro modelli DL per l'esecuzione su hardware ad alte prestazioni. Abbiamo passato gli ultimi anni a sviluppare competenze sulle migliori soluzioni software e hardware e integrarle nella nostra piattaforma. Le nostre radici come progettisti di chip e hacker di sistemi rendono AWS Trainium e Inferentia ancora più interessanti per noi. Consideriamo questi chip come un fattore trainante chiave per il futuro dell'innovazione dell'intelligenza artificiale sul cloud. Il lancio GA delle istanze Inf2 è particolarmente tempestivo, poiché stiamo assistendo all'emergere del popolare LLM come elemento fondamentale delle applicazioni IA di nuova generazione. Siamo entusiasti di rendere disponibili queste istanze nella nostra piattaforma per aiutare gli sviluppatori a trarre facilmente vantaggio dalle loro elevate prestazioni e dai vantaggi in termini di risparmio sui costi".
 

Jared Roesch, CTO and Cofounder, OctoML

"La sfida storica con gli LLM e, più in generale, con le applicazioni di IA generativa di livello aziendale, sono i costi associati alla formazione e all'esecuzione di modelli DL ad alte prestazioni. Oltre ad AWS Trainium, AWS Inferentia2 rimuove i compromessi finanziari che i nostri clienti fanno quando richiedono una formazione ad alte prestazioni. Ora, i nostri clienti che cercano vantaggi nella formazione e nell'inferenza possono ottenere risultati migliori spendendo meno denaro. Trainium e Inferentia accelerano la scalabilità per soddisfare anche i requisiti DL più esigenti per le aziende più grandi di oggi. Molti clienti Nextira che eseguono grandi carichi di lavoro di intelligenza artificiale trarranno vantaggi diretti da questi nuovi chipset, aumentando l'efficienza in termini di risparmio sui costi e prestazioni e portando a risultati più rapidi nel loro mercato".

Jason Cutrer, fondatore e CEO, Nextira

Amazon CodeWhisperer è un complemento di codifica IA che genera consigli di codice a riga singola o completa in tempo reale nel tuo ambiente di sviluppo integrato (IDE) per aiutarti a creare rapidamente software.

"Con CodeWhisperer, stiamo migliorando la produttività degli sviluppatori di software fornendo consigli sul codice utilizzando modelli di intelligenza artificiale generativi. Per sviluppare raccomandazioni di codice altamente efficaci, abbiamo adattato la nostra rete DL a miliardi di parametri. I nostri clienti hanno bisogno di consigli sul codice in tempo reale durante la digitazione, quindi le risposte a bassa latenza sono fondamentali. I modelli di intelligenza artificiale generativa di grandi dimensioni richiedono un'elaborazione ad alte prestazioni per fornire tempi di risposta in una frazione di secondo. Con Inf2, offriamo la stessa latenza dell'esecuzione di CodeWhisperer sull'addestramento di istanze GPU ottimizzate per sequenze di input e output di grandi dimensioni. Pertanto, le istanze Inf2 ci aiutano a risparmiare costi ed energia offrendo al contempo la migliore esperienza possibile agli sviluppatori".  

Doug Seven, Direttore generale, Amazon CodeWhisperer

Il motore di ricerca di prodotti di Amazon indicizza miliardi di prodotti, soddisfa ogni giorno miliardi di domande dei clienti ed è uno dei servizi più utilizzati al mondo.

"Sono super entusiasta del lancio GA di Inf2. Le prestazioni superiori di Inf2, insieme alla sua capacità di gestire modelli più grandi con miliardi di parametri, lo rendono la scelta perfetta per i nostri servizi e ci consentono di sbloccare nuove possibilità in termini di complessità e precisione dei modelli. Con la notevole velocità e l'efficienza in termini di costi offerte da Inf2, l'integrazione nell'infrastruttura di servizio di Amazon Search può aiutarci a soddisfare le crescenti richieste dei nostri clienti. Stiamo pianificando di potenziare le nostre nuove esperienze di acquisto utilizzando LLM generativi utilizzando Inf2". 

Trishul Chilimbi, vicepresidente di Amazon Search