Des milliers de clients ont mis en œuvre Databricks sur AWS, ce qui leur permet d’utiliser MosaicML pour préformer, affiner et diffuser des modèles de base pour de nombreux cas d’utilisation. AWS Trainium nous offre l'évolutivité et les hautes performances nécessaires pour entraîner nos modèles Mosaic MPT, et ce, à moindre coût. Alors que nous entraînons nos modèles Mosaic MPT de nouvelle génération, Trainium2 nous permettra de créer des modèles encore plus rapidement, ce qui nous permettra d’offrir à nos clients une évolutivité et des performances sans précédent afin de leur permettre de commercialiser plus rapidement leurs propres applications d’IA générative.

Avec 16 nœuds d’instances Amazon EC2 Trn1 alimentés par les puces AWS Trainium, nous avons développé et publié stockmark-13b, un grand modèle de langage comportant 13 milliards de paramètres, pré-entraîné de zéro sur un corpus japonais de 220 milliards de jetons. Le corpus comprend les derniers textes du domaine des affaires jusqu’en septembre 2023. Le modèle a obtenu le score JSquad le plus élevé (0,813) au test de référence JGLUE (Japanese General Language Understanding Evaluation) par rapport à d'autres modèles équivalents. Il est disponible sur Hugging Face Hub et peut être utilisé à des fins commerciales avec la licence MIT. Les instances Trn1 nous ont permis de réduire les coûts de formation de 20 % par rapport aux instances GPU équivalentes.

La migration vers les instances Trn1 a été assez simple. Nous avons été en mesure d'achever la formation de notre modèle de paramètres 13B en seulement 8 jours. Forts de ce succès, nous sommes impatients de développer et d’entraîner notre modèle de paramètres 70B sur Trainium et sommes enthousiasmés par le potentiel de ces instances pour entraîner nos modèles plus rapidement et de manière plus rentable.

Chez HeliXon, nous créons des solutions d’IA de nouvelle génération pour les thérapies à base de protéines. Notre objectif est de développer des outils d'IA qui permettent aux scientifiques de déchiffrer la fonction et l'interaction des protéines, d'interroger des jeux de données génomiques à grande échelle pour identifier des cibles et de concevoir des traitements tels que des anticorps et des thérapies cellulaires. Aujourd'hui, nous utilisons des bibliothèques de distribution d'entraînement telles que FSDP pour paralléliser l'entraînement des modèles sur de nombreux serveurs basés sur des GPU, mais cela nous prend encore des semaines pour entraîner un seul modèle. Nous sommes ravis d’utiliser les instances Amazon EC2 Trn1, dotées de la bande passante du réseau la plus élevée (800 Gbit/s) disponible sur AWS pour améliorer les performances de nos tâches d’entraînement distribuées et réduire les temps d’entraînement de nos modèles, tout en réduisant nos coûts.

Nous avons lancé un service de chatbot basé sur l’IA à grande échelle sur les instances Amazon EC2 Inf1 et avons réduit notre latence d’inférence de 97 % par rapport à des instances comparables basées sur GPU, tout en réduisant les coûts. Comme nous ajustons régulièrement les modèles de NLP personnalisés, il est également important de réduire les temps et les coûts d'entraînement des modèles. Sur la base de notre expérience acquise lors de la migration réussie de la charge de travail d’inférence sur les instances Inf1 et de nos premiers travaux sur les instances EC2 Trn1 basées sur AWS Trainium, nous pensons que les instances Trn1 apporteront une valeur ajoutée en termes d’amélioration des performances et des coûts du ML de bout en bout.

L’entraînement de grands modèles autorégressifs basés sur des transformeurs est un élément essentiel de notre travail. Les instances Trn1 basées sur AWS Trainium sont conçues spécifiquement pour ces charges de travail et offrent une capacité de mise à l'échelle quasi infinie, une mise en réseau rapide entre les nœuds et une prise en charge avancée des types de données 8 et 16 bits. Les instances Trn1 nous aideront à entraîner de grands modèles plus rapidement et à moindre coût. Nous sommes particulièrement enthousiasmés par la prise en charge native de l’arrondissement stochastique BF16 dans Trainium, qui améliore les performances alors que la précision numérique est indissociable de la précision totale.

Chez Cactus Labs, nous exploitons la puissance de l’IA en menant des recherches axées sur le traitement du langage naturel, le classement et la recommandation, l’IA conversationnelle, les grands modèles de langage, la vision par ordinateur, la réalité augmentée et virtuelle et la XAI. Dans le cadre de notre objectif visant à accélérer l'entraînement des modèles de machine learning et à permettre à nos chercheurs de réaliser davantage d'expériences tout en gérant les coûts d'infrastructure, nous avons été ravis d'évaluer AWS Trainium. Les fonctionnalités prêtes à l’emploi d’AWS Trainium, telles que l’optimisation XLA, l’entraînement parallèle aux données multi-travailleurs et la mise en cache de graphes nous sont vraiment utiles pour réduire nos temps d’entraînement et nous aider à réaliser davantage d’expériences plus rapidement et à moindre coût.

Nous utilisons de grands modèles de langage pour intégrer l’humour et offrir une expérience conversationnelle plus pertinente à nos clients sur nos services d’IA. Cela nous oblige à pré-entraîner et à ajuster fréquemment ces modèles. Nous avons pré-entraîné un modèle japonais basé sur GPT sur l'instance EC2 Trn1.32xlarge, en tirant parti du tenseur et du parallélisme des données. L'entraînement a été achevé en 28 jours avec une réduction des coûts de 33 % par rapport à notre ancienne infrastructure basée sur des GPU. Alors que la complexité de nos modèles continue de croître rapidement, nous attendons avec impatience les instances Trn1n, qui disposent de deux fois plus de bande passante du réseau que les Trn1, afin d’accélérer l’entraînement des modèles plus volumineux.

Chez PyTorch, nous accélérons les étapes du machine learning du prototypage de recherche à la production prête pour les clients. Nous avons étroitement collaboré avec l'équipe d'AWS pour fournir une prise en charge PyTorch native pour les nouvelles instances Amazon EC2 Trn1 basées sur AWS Trainium et conçues spécialement pour l'entraînement de modèles de deep learning. Les développeurs qui créent des modèles PyTorch peuvent commencer à entraîner sur des instances Trn1 avec des modifications de code réduites au minimum. En outre, nous avons travaillé avec la communauté d'OpenXLA pour proposer les bibliothèques distribuées PyTorch afin de faciliter la migration de modèles depuis des instances basées sur GPU vers des instances Trn1. Nous sommes enthousiasmés par les innovations apportées par les instances Trn1 à la communauté de PyTorch, notamment des types de données plus efficaces, des formes dynamiques, des opérateurs personnalisés, un arrondissement stochastique optimisé pour le matériel et un mode de débogage rapide. Tout cela contribue à une large adoption idéale des instances Trn1 par les développeurs de PyTorch et nous attendons avec impatience les futures contributions conjointes à PyTorch afin d’optimiser davantage les performances d’entraînement.

La mission de Hugging Face est de démocratiser une machine learning de qualité afin d’aider les développeurs de machine learning du monde entier à résoudre des problèmes concrets. Pour ce faire, il est essentiel de s’assurer que les modèles les plus récents et les plus performants s’exécutent aussi rapidement et efficacement que possible sur les meilleures puces de machine learning du cloud. Nous sommes très enthousiastes à l’idée qu’Inferentia2 puisse devenir le nouveau moyen standard de déployer des modèles d’IA générative à grande échelle. Avec Inf1, nous avons constaté des coûts jusqu'à 70 % inférieurs à ceux des instances traditionnelles basées sur GPU, et avec Inf2, nous avons constaté une latence jusqu'à 8 fois plus faible pour les transformateurs de type BERT par rapport à Inferentia1. Avec Inferentia2, notre communauté pourra facilement adapter cette performance aux LLM à l’échelle de plus de 100 milliards de paramètres, ainsi qu’aux modèles de diffusion et de vision par ordinateur les plus récents.

Nous entraînons de grands modèles de langage (LLM) multimodaux (texte et image), multilingues, multirégions, préentraînés sur de multiples tâches et couvrant plusieurs entités (produits, requêtes, marques, avis, etc.) afin d’améliorer l’expérience d’achat des clients. Les instances Trn1 constituent un moyen plus durable d'entraîner des LLM en fournissant le meilleur rapport performance/watt comparé aux autres solutions de machine learning accélérées et nous offrent des performances élevées au moindre coût. Nous prévoyons d’explorer le nouveau type de données FP8 configurable et l’arrondissement stochastique accéléré hardware afin d’améliorer encore l’efficacité de notre entraînement et notre vitesse de développement.