Infrastruttura di AWS Machine Learning
Infrastruttura ad alte prestazioni, conveniente ed efficiente dal punto di vista energetico per applicazioni ML
Dalle aziende Fortune 500 alle startup, le organizzazioni di vari settori stanno adottando sempre più spesso il machine learning (ML) per un'ampia gamma di casi d'uso, tra cui l'elaborazione del linguaggio naturale (NLP), la visione artificiale, gli assistenti vocali, il rilevamento delle frodi e i motori di raccomandazione. Inoltre, i modelli linguistici di grandi dimensioni (LLM) con centinaia di miliardi di parametri stanno sbloccando nuovi casi d'uso dell'IA generativa, ad esempio la generazione di immagini e testo. Con la crescita delle applicazioni ML, aumenta l'utilizzo, la gestione e il costo delle risorse di elaborazione, archiviazione e rete. Identificare e scegliere la giusta infrastruttura di elaborazione è essenziale per ridurre l'elevato consumo energetico, ridurre i costi eccessivi ed evitare la complessità durante la formazione e l'implementazione dei modelli ML in produzione. Per aiutarti ad accelerare l'innovazione del machine learning, AWS offre la combinazione ideale di strumenti e acceleratori di ML appositamente progettati ad alte prestazioni, convenienti ed efficienti dal punto di vista energetico, ottimizzati per le applicazioni ML.
Vantaggi
Facile da utilizzare
Accedi ad acceleratori ML appositamente progettati come AWS Trainium e AWS Inferentia per addestrare e implementare modelli di fondazione (FM) e integrarli nelle tue applicazioni utilizzando servizi gestiti da AWS come Amazon SageMaker e Amazon Bedrock. SageMaker fornisce ai data scientist e agli sviluppatori ML modelli di fondazione preformati che possono essere completamente personalizzati per casi d'uso e dati specifici e implementati in produzione. Bedrock offre ai clienti un'esperienza serverless per la creazione di applicazioni IA generative utilizzando FM tramite un'API.
Prestazioni elevate
Puoi potenziare la tua applicazione ML con l'infrastruttura di ML con le prestazioni più elevate di AWS. Le istanze Amazon EC2 P4d e Amazon EC2 Trn1 sono ideali per la formazione ML ad alte prestazioni. Per quanto riguarda l'inferenza, le istanze Inf2 di Amazon EC2, basate su Inferentia2 di seconda generazione, offrono una velocità di trasmissione effettiva 4 volte superiore e una latenza fino a 10 volte inferiore rispetto alle istanze basate su Inferentia della generazione precedente.
Prezzi contenuti
Con un'ampia scelta di servizi infrastrutturali, puoi scegliere l'infrastruttura giusta per il tuo budget. Le istanze Trn1 di Amazon EC2 basate su AWS Trainium offrono un risparmio del 50% sui costi di formazione, mentre le istanze Inf2 di Amazon EC2 basate su AWS Inferentia2 offrono un rapporto prezzo/prestazioni fino al 40% migliore rispetto a istanze Amazon EC2 comparabili. Puoi reinvestire questi risparmi sui costi per accelerare l'innovazione e far crescere la tua attività.
Sostenibile
AWS si impegna a raggiungere l'obiettivo di Amazon di azzerare le emissioni di carbonio entro il 2040. Amazon SageMaker, un servizio di machine learning completamente gestito, offre acceleratori ML ottimizzati per l'efficienza energetica e la riduzione del consumo energetico durante la formazione e l'implementazione di modelli ML in produzione. Le istanze Amazon EC2 basate su acceleratori ML, come AWS Trainium e AWS Inferentia2, offrono prestazioni per watt migliori fino al 50% rispetto ad altre istanze Amazon EC2 comparabili.
Scalabile
I clienti AWS hanno accesso a elaborazione, rete e archiviazione virtualmente illimitati in modo da poter scalare. Puoi aumentare o diminuire in base alle esigenze, da un acceleratore GPU o ML a migliaia e da terabyte a petabyte di spazio di archiviazione. Con il cloud, non è necessario investire in tutte le infrastrutture possibili. Sfrutta invece il calcolo elastico, l'archiviazione e la rete.
Supporto per i framework ML più utilizzati
Le istanze di elaborazione AWS supportano i principali framework di machine learning come TensorFlow e PyTorch. Supportano anche modelli e toolkit come Hugging Face per un'ampia gamma di casi d'uso di machine learning. Le AMI di AWS Deep Learning (AWS DLAMIs) e Deep Learning Containers (AWS DLC) sono preinstallati con ottimizzazioni per framework e toolkit ML per accelerare il deep learning nel cloud.
Soluzioni
*A seconda dei requisiti di inferenza, puoi esplorare altre istanze in Amazon EC2 per l'inferenza basata su CPU.
Storie di successo
-
Pepperstone
-
Finch Computing
-
Amazon Robotics
-
Money Forward
-
IA - Intelligenza Artificiale Rad
-
Amazon Alexa
-
Autodesk
-
Sprinklr
-
Pepperstone
-
Pepperstone utilizza l'infrastruttura AWS ML per offrire un'esperienza di trading globale senza interruzioni a oltre 40.000 visitatori unici al mese. Usano Amazon SageMaker per automatizzare la creazione e l'implementazione di modelli ML. Passando a SageMaker, sono stati in grado di ridurre l'attrito tra i team DevOps e quelli di data science e di ridurre i tempi di formazione sui modelli ML da 180 ore a 4,3 ore.
-
Finch Computing
-
Finch Computing utilizza AWS Inferentia con PyTorch su AWS per creare modelli ML per eseguire attività di NLP come la traduzione linguistica e la disambiguazione delle entità, riducendo così i costi di inferenza di oltre l'80% rispetto alle GPU.
-
Amazon Robotics
-
Amazon Robotics ha utilizzato Amazon SageMaker per sviluppare un modello sofisticato di machine learning che ha sostituito la scansione manuale nei centri logistici di Amazon. Amazon Robotics ha utilizzato Amazon SageMaker e AWS Inferentia per ridurre i costi di inferenza di quasi il 50%
-
Money Forward
-
Money Forward ha lanciato un servizio di chatbot IA su larga scala sulle istanze Inf1 di Amazon EC2 e ridotto la latenza di inferenza del 97% rispetto a istanze analoghe basate su GPU, riducendo al contempo i costi. Sulla base della corretta migrazione alle istanze Inf1, stanno anche valutando le istanze EC2 Trn1 basate su AWS Trainium per migliorare le prestazioni e i costi di machine learning end-to-end.
-
IA - Intelligenza Artificiale Rad
-
Rad AI utilizza l'intelligenza artificiale per automatizzare i flussi di lavoro di radiologia e aiutare a semplificare i referti radiologici. Con le nuove istanze P4d di Amazon EC2, Rad AI vede un'inferenza più rapida e la capacità di addestrare i modelli 2,4 volte più velocemente e con maggiore precisione.
-
Amazon Alexa
-
"L'intelligenza basata su IA e su ML di Amazon Alexa, con tecnologia Amazon Web Services, è disponibile oggi su oltre 100 milioni di dispositivi e la nostra promessa ai clienti è che Alexa diventi sempre più intelligente, che ami conversare, che sia più proattiva e persino più gradevole. Rispettare questa promessa richiede miglioramenti continui nei tempi di risposta e nei costi dell'infrastruttura di machine learning, ed è per questo che siamo entusiasti di utilizzare Inf1 di Amazon EC2 per abbassare la latenza di inferenza e il costo per inferenza della sintesi vocale di Alexa. Con Inf1 di Amazon EC2, possiamo migliorare ulteriormente il servizio per le decine di milioni di clienti che utilizzano Alexa ogni mese".
Tom Taylor, vicepresidente senior, Amazon Alexa
-
Autodesk
-
.9396df1d739f5a3b99ce8985231b0a48f7767c05.png "Logo di Autodesk")
"Autodesk sta sviluppando la tecnologia cognitiva del nostro assistente virtuale basato su IA, Autodesk Virtual Agent (AVA), utilizzando Inferentia. AVA risponde a oltre 100.000 domande dei clienti ogni mese utilizzando tecniche di riconoscimento del linguaggio naturale (NLU) e deep learning per estrarre il contesto, l'intento e il significato delle richieste. Sfruttando Inferentia, siamo riusciti a ottenere una velocità di trasmissione effettiva di 4,9 volte superiore rispetto a G4dn per i nostri modelli di NLU, e progettiamo di eseguire altri carichi di lavoro sulle istanze Inf1 basate su Inferentia."
Binghui Ouyang, Sr Data Scientist, Autodesk
-
Sprinklr
-
"Sprinklr fornisce una piattaforma unificata di gestione dell'esperienza dei clienti (Unified-CXM) che combina diverse applicazioni per il marketing, la pubblicità, la ricerca, l'assistenza clienti, le vendite e il coinvolgimento sui social media. L'obiettivo è sempre quello di avere una latenza inferiore, il che significa una migliore esperienza del cliente. Utilizzando le istanze Inf1 di Amazon EC2, siamo in grado di raggiungere questo obiettivo".
Jamal Mazhar, Vice President of Infrastructure and DevOps, Sprinklr