Finch Computing réduit ses coûts d'inférence de 80 % en utilisant AWS Inferentia pour la traduction linguistique

Avec des bureaux à Reston, en Virginie, et à Dayton, dans l'Ohio, Finch, une combinaison des mots « trouver » et « rechercher », offre ses services aux entreprises de médias et aux agrégateurs de données, aux organisations gouvernementales et de renseignement américaines, ainsi qu'aux sociétés de services financiers. Ses produits sont centrés sur le NLP, un sous-ensemble de l'intelligence artificielle qui entraîne des modèles à comprendre les nuances du langage humain, notamment à déchiffrer le ton et l'intention. Son produit Finch for Text utilise des calculs de machine learning (ML) denses et parallèles qui s'appuient sur un calcul accéléré à hautes performances afin de fournir aux clients des informations en temps quasi réel sur leurs actifs informationnels. Par exemple, sa fonction de désambiguïsation des entités permet aux clients d'interpréter le sens correct d'un mot qui possède plusieurs sens ou orthographes.

Finch a étendu ses capacités pour prendre en charge le néerlandais, ce qui a fait naître l'idée qu'elle devait encore évoluer pour inclure le français, l'allemand, l'espagnol et d'autres langues. Cette décision s'est révélée judicieuse, non seulement parce que les clients de Finch disposaient d'un grand nombre de contenus dans ces langues, mais également parce que les modèles capables de prendre en charge d'autres langues pouvaient attirer de nouveaux clients. Finch devait trouver comment traiter une quantité importante de données supplémentaires sans affecter le débit ni les temps de réponse, des facteurs critiques pour ses clients, ou sans augmenter les coûts de déploiement.

Lors d'AWS re:Invent 2021, une conférence annuelle organisée par AWS pour la communauté mondiale du cloud computing, les représentants de Finch ont découvert les instances basées sur AWS Inferentia dans Amazon Elastic Compute Cloud (Amazon EC2), qui offrent une capacité de calcul sécurisée et redimensionnable pour pratiquement toutes les charges de travail. AWS a présenté Finch au partenaire AWS Slalom, une société de conseil spécialisée dans la stratégie, la technologie et la transformation des entreprises. Pendant les deux mois qui ont suivi AWS re:Invent, les membres des équipes de Slalom et de Finch ont travaillé à la création d'une solution rentable. « En plus de bénéficier des conseils de l'équipe AWS, nous avons noué des liens avec Slalom, ce qui nous a permis d'optimiser nos charges de travail et d'accélérer ce projet », explique Scott Lightner, Founder and Chief Technology Officer chez Finch.

Ensemble, Finch et Slalom ont conçu une solution qui a optimisé l'utilisation des instances Amazon EC2 Inf1 basées sur AWS Inferentia, qui fournissent des inférences de machine learning hautes performances à faible coût dans le cloud. « Compte tenu du coût des processeurs graphiques, nous n'aurions tout simplement pas pu proposer à nos clients des langues supplémentaires tout en maintenant la rentabilité de notre produit, » déclare M. Lightner. « Les instances Amazon EC2 Inf1 ont changé la donne pour nous. »

Les modèles de traduction de deep learning brevetés par l'entreprise s'exécutaient sur PyTorch sur AWS, un outil open source de deep learning qui facilite le développement de modèles de machine learning et leur déploiement en production. Finch a utilisé Docker pour conteneuriser et déployer ses modèles PyTorch. L'entreprise a migré ces modèles à calcul intensif depuis des instances basées sur des processeurs graphiques vers des instances Amazon EC2 Inf1 optimisées par AWS Inferentia. Les instances Amazon EC2 Inf1 ont été conçues pour accélérer un ensemble diversifié de modèles, allant de la vision par ordinateur au NLP. L'équipe a pu créer une solution qui combinait différentes tailles de modèles et maintenait le même débit que lorsqu'elle utilisait des processeurs graphiques, mais à un coût nettement inférieur. « Grâce à AWS Inferentia, nous sommes en mesure d'obtenir le débit et les performances nécessaires à un prix abordable pour nos clients », explique M. Lightner.

La stratégie impliquait le déploiement de conteneurs Docker sur Amazon Elastic Container Service (Amazon ECS), un service d'orchestration de conteneurs entièrement géré qui permet aux entreprises de facilement déployer, gérer et mettre à l'échelle des applications conteneurisées. La solution incorporait des AWS Deep Learning AMI (DLAMI), des environnements préconfigurés permettant de créer rapidement des applications de deep learning. Finch a intégré les AMI AWS Inferentia à son pipeline DevOps et a mis à jour ses modèles d'infrastructure en tant que code afin d'utiliser AWS Inferentia pour exécuter des conteneurs personnalisés à l'aide d'Amazon ECS. « Une fois notre pipeline DevOps exécuté sur les instances Amazon EC2 Inf1 et Amazon ECS, nous avons pu déployer rapidement davantage de modèles de deep learning », explique Franz Weckesser, Chief Architect chez Finch. En effet, Finch a construit un modèle pour prendre en charge la langue ukrainienne en seulement 2 jours. En quelques mois, Finch a déployé trois modèles de machine learning supplémentaires, prenant en charge le traitement du langage naturel en allemand, en français et en espagnol, et a amélioré les performances de son modèle néerlandais existant.

À l'aide des instances Amazon EC2 Inf1, l'entreprise a accéléré le développement de ces nouveaux produits tout en réduisant ses coûts d'inférence de plus de 80 %. L'ajout des nouveaux modèles a attiré des clients intéressés par les nouvelles langues et a reçu des commentaires positifs de la part des clients existants. « Il est toujours difficile de changer l'infrastructure en profondeur, » explique M. Lightner. Mais nous avons pu surmonter ces changements rapidement grâce à la persévérance de notre équipe et à l'aide de Slalom et d'AWS. Le résultat final en a valu la peine. »

Finch souhaite continuer à migrer davantage de modèles vers AWS Inferentia. Ces modèles incluent l'Attribution de sentiments, fonctionnalité qui identifie un élément de contenu comme étant positif, négatif ou neutre, et une nouvelle fonctionnalité appelée Extraction de relations, une application à calcul intensif qui découvre les relations entre les entités mentionnées dans le texte. Finch continue d'ajouter de nouvelles langues, dont prochainement l'arabe, le chinois et le russe. « Notre expérience de travail sur AWS Inferentia a été formidable, » déclare M. Lightner. « C'est excellent de pouvoir compter sur un fournisseur de cloud qui travaille à nos côtés et qui nous aide à évoluer au fur et à mesure de la croissance de notre activité. »