Instancias Inf2 de Amazon EC2

“Nuestro equipo de Leonardo aprovecha la IA generativa para permitir a los profesionales y entusiastas de la creatividad producir recursos visuales con una calidad, velocidad y consistencia de estilo incomparables. El rendimiento en relación con el precio de AWS Inf2 nos permite reducir nuestros costos en un 80 %, sin sacrificar el rendimiento, cambiando fundamentalmente la propuesta de valor que podemos ofrecer a los clientes, habilitando nuestras características más avanzadas a un punto de precio más accesible. También alivia las preocupaciones sobre el costo y la disponibilidad de capacidad para nuestros servicios auxiliares de IA, que son cada vez más importantes a medida que crecemos y escalamos. Es una tecnología clave para nosotros a medida que continuamos ampliando los límites de lo que es posible con la IA generativa, lo que permite una nueva era de creatividad y poder expresivo para nuestros usuarios”.

Pete Werner, Head of AI, Leonardo.ai

“En Runway, nuestro conjunto de herramientas mágicas de IA permite a nuestros usuarios generar y editar contenido como nunca antes. Estamos ampliando constantemente los límites de lo que es posible con la creación de contenido con IA y, a medida que nuestros modelos de IA se vuelven más complejos, los costos de infraestructura subyacente para ejecutar estos modelos a gran escala pueden llegar a ser caros. Gracias a nuestra colaboración con las instancias Inf2 de Amazon EC2 impulsadas por AWS Inferentia, podemos ejecutar algunos de nuestros modelos con un rendimiento hasta 2 veces mayor que las instancias comparables basadas en GPU. Esta inferencia de alto rendimiento y bajo costo nos permite introducir más características, implementar modelos más complejos y, en última instancia, ofrecer una mejor experiencia a los millones de creadores que utilizan Runway”.

Cristóbal Valenzuela, cofundador y CEO, Runway

Qualtrics diseña y desarrolla software de administración de experiencias.

“En Qualtrics, nuestro objetivo es crear tecnología que elimine las deficiencias en la experiencia de los clientes, empleados, marcas y productos. Para lograrlo, desarrollamos complejos modelos de aprendizaje profundo multitarea y multimodal para lanzar nuevas características, como la clasificación de textos, etiquetado de secuencias, análisis del discurso, extracción de frases clave, extracción de temas, agrupación y comprensión de conversaciones de principio a fin. A medida que usamos estos modelos más complejos en más aplicaciones, el volumen de datos no estructurados crece y necesitamos soluciones optimizadas para la inferencia que puedan satisfacer estas demandas, como las instancias Inf2, para ofrecer las mejores experiencias a nuestros clientes. Nos entusiasma la llegada de las nuevas instancias Inf2, porque no solo nos permitirán alcanzar mayores rendimientos, al tiempo que reducen drásticamente la latencia, sino que también introducen características como la inferencia distribuida y el soporte mejorado de formas de entrada dinámicas, que nos ayudarán a escalar para satisfacer las necesidades de implementación a medida que avancemos hacia modelos grandes y más complejos”.

Aaron Colak, Head of Core Machine Learning en Qualtrics

Finch Computing es una empresa de tecnología de lenguaje natural que proporciona aplicaciones de inteligencia artificial para clientes gubernamentales, de servicios financieros y de integración de datos.

“Para satisfacer las necesidades de nuestros clientes de procesamiento del lenguaje natural en tiempo real, desarrollamos modelos de aprendizaje profundo de última generación que se escalan a grandes cargas de trabajo de producción. Tenemos que proporcionar transacciones de baja latencia y lograr altos rendimientos para procesar orígenes de datos globales. Hasta ahora, migramos muchas cargas de trabajo de producción a instancias Inf1 y logramos una reducción del 80 % en el costo con respecto a las GPU. Hoy en día, estamos desarrollando modelos más grandes y complejos que permitan obtener un significado más profundo del texto escrito. Muchos de nuestros clientes necesitan acceder a esta información en tiempo real y el rendimiento de las instancias Inf2 nos ayudará a ofrecer una latencia más baja y un mayor rendimiento en comparación con las instancias Inf1”. Con las mejoras en el rendimiento de Inf2 y las nuevas características de Inf2, como la compatibilidad con tamaños de entrada dinámicos, mejoramos nuestra rentabilidad, elevamos la experiencia del cliente en tiempo real y ayudamos a nuestros clientes a obtener nuevos conocimientos de sus datos”.

Franz Weckesser, Chief Architect en Finch Computing

Money Forward Inc. brinda servicios a empresas e individuos con una plataforma financiera abierta y justa. Como parte de esta plataforma, HiTTO Inc., una empresa del grupo Money Forward, ofrece un servicio de chatbot con IA, que usa modelos de procesamiento de lenguaje natural (NLP) personalizados para abordar las diversas necesidades de sus clientes corporativos.

“Lanzamos un servicio de chatbot con IA a gran escala en las instancias Inf1 de Amazon EC2 y logramos reducir costos y nuestra latencia de inferencia en un 97 % en comparación con las instancias basadas en GPU. Estamos muy satisfechos de ver nuevas mejoras de rendimiento en los resultados de nuestras pruebas iniciales en las instancias Inf2 de Amazon EC2. Con el mismo modelo de NLP personalizado, AWS Inf2 pudo reducir aún más la latencia 10 veces más que Inf1. A medida que avanzamos hacia modelos de parámetros multimillonarios más grandes, Inf2 nos da la confianza de que podemos seguir ofreciendo a nuestros clientes una experiencia de usuario integral superior”.

Takuya Nakade, CTO, Money Forward Inc.

“En Fileread.ai, estamos creando soluciones para que el interactuar con sus documentos sea tan fácil como el hacerles preguntas, lo que permitirá a los usuarios encontrar lo que buscan entre todos sus documentos y obtener la información correcta más rápidamente. Desde que cambiamos a la nueva instancia Inf2 de EC2, hemos observado una mejora significativa en nuestras capacidades de inferencia de NLP. El ahorro de costos por sí solo ha supuesto un punto de inflexión para nosotros, ya que nos ha permitido asignar los recursos de manera más eficiente sin sacrificar la calidad. Redujimos la latencia de las inferencias en un 33 % y, al mismo tiempo, aumentamos el rendimiento en un 50 %, lo que permitió a nuestros clientes ofrecer plazos de entrega más rápidos. Nuestro equipo ha quedado impresionado por la velocidad y el rendimiento de Inf2 en comparación con las instancias G5 más antiguas, y está claro que este es el futuro con la implementación de modelos de NLP”.

Daniel Hu, CEO, Fileread

“En Yaraku, nuestra misión es crear una infraestructura que ayude a las personas a comunicarse sin barreras lingüísticas. Nuestro producto estrella, YarakuZen, permite a cualquier persona, desde traductores profesionales hasta personas monolingües, traducir y poseditar textos y documentos con confianza. Para respaldar este proceso, ofrecemos una amplia gama de herramientas sofisticadas basadas en modelos de aprendizaje profundo, que abarcan tareas como traducción, alineación de palabras bitexto, segmentación de oraciones, modelado del lenguaje y muchas otras. Al usar las instancias Inf1, hemos podido acelerar nuestros servicios para satisfacer la creciente demanda y, al mismo tiempo, reducir el costo de inferencia en más de un 50 % en comparación con las instancias basadas en GPU. Ahora estamos avanzando en el desarrollo de modelos más grandes de próxima generación que requerirán las capacidades mejoradas de las instancias Inf2 para satisfacer la demanda y, al mismo tiempo, mantener una latencia baja. Con Inf2, podremos escalar verticalmente nuestros modelos 10 veces y, al mismo tiempo, mantener un rendimiento similar, lo que nos permitirá ofrecer niveles de calidad aún más altos a nuestros clientes”.

Giovanni Giacomo, NLP Lead, Yaraku

“La misión de Hugging Face es democratizar el buen ML para ayudar a los desarrolladores de ML de todo el mundo a resolver problemas del mundo real. Y la clave para ello es garantizar que los mejores y más recientes modelos se ejecuten de la manera más rápida y eficiente posible en los mejores chips de ML de la nube. Estamos muy entusiasmados con la posibilidad de que Inferentia2 se convierta en la nueva forma estándar de implementar modelos de IA generativa a escala. Con Inf1, obtuvimos un costo hasta un 70 % menor al de las instancias tradicionales basadas en GPU, y con Inf2 hemos visto una latencia hasta 8 veces menor en los transformadores tipo BERT en comparación con Inferentia1. Con Inferentia2, nuestra comunidad podrá escalar fácilmente este rendimiento a LLM a una escala de más de 100 000 millones de parámetros, y también a los últimos modelos de difusión y visión artificial”.  

“PyTorch acelera el camino desde la creación de prototipos de investigación hasta las implementaciones de producción para los desarrolladores de ML. Hemos colaborado con el equipo de AWS para proporcionar soporte nativo con PyTorch para las nuevas instancias Inf2 de Amazon EC2 con tecnología de AWS Inferentia2. Dado que más miembros de nuestra comunidad buscan implementar grandes modelos de IA generativa, nos complace asociarnos con el equipo de AWS para optimizar la inferencia distribuida en las instancias de Inf2 con la conectividad de NeuronLink de alta velocidad entre chips. Con Inf2, los desarrolladores que usan PyTorch ahora pueden implementar fácilmente modelos de transformadores de visión y LLM ultragrandes. Además, las instancias Inf2 aportan otras capacidades innovadoras a los desarrolladores de PyTorch, como tipos de datos eficientes, formas dinámicas, operadores personalizados y un redondeo estocástico optimizado para el hardware, lo que las hace ideales para una amplia adopción por parte de la comunidad de PyTorch”. 

“Weights & Biases (W&B) proporciona herramientas de desarrollo para que los ingenieros de ML y los científicos de datos puedan crear mejores modelos con mayor rapidez. La plataforma de W&B proporciona a los profesionales del ML una amplia variedad de conocimientos para mejorar el rendimiento de los modelos, incluido el uso de la infraestructura de computación subyacente. Hemos colaborado con el equipo de AWS para agregar compatibilidad para Amazon Trainium e Inferentia2 a nuestro panel de métricas del sistema, lo que proporciona datos valiosos que se necesitan durante la experimentación con modelos y el entrenamiento de estos. Esto permite a los profesionales del ML optimizar sus modelos para aprovechar al máximo el hardware específico de AWS para entrenar sus modelos más rápido y a un menor costo”.

Phil Gurbacki, VP of Product, Weights & Biases

“OctoML ayuda a los desarrolladores a reducir los costos y a crear aplicaciones de IA escalables al empaquetar sus modelos de DL para que se ejecuten en un hardware de alto rendimiento. Hemos pasado los últimos años acumulando experiencia en las mejores soluciones de software y hardware, e integrándolas en nuestra plataforma. Nuestras raíces como diseñadores de chips y hackers de sistemas hacen que AWS Trainium e Inferentia sean aún más interesantes para nosotros. Consideramos que estos chips son un factor clave para el futuro de la innovación de la IA en la nube. El lanzamiento de las instancias Inf2 en GA es especialmente oportuno, ya que estamos viendo el surgimiento del popular LLM como un componente clave de las aplicaciones de IA de próxima generación. Estamos muy contentos de poder ofrecer estas instancias en nuestra plataforma para ayudar a los desarrolladores a aprovechar fácilmente su alto rendimiento y el ahorro de costos”.
 

Jared Roesch, CTO y cofundador, OctoML

“El desafío histórico de LLM y, en términos más generales, de las aplicaciones de IA generativa de nivel empresarial son los costos asociados con el entrenamiento y la ejecución de modelos de aprendizaje continuo de alto rendimiento. Junto con AWS Trainium, AWS Inferentia2 elimina los compromisos financieros a los que se enfrentan nuestros clientes cuando necesitan un entreno de alto rendimiento. Ahora, nuestros clientes que buscan ventajas en el entreno y la inferencia pueden lograr mejores resultados por menos dinero. Trainium e Inferentia aceleran la escalabilidad para cumplir incluso los requisitos de aprendizaje continuo más exigentes de las empresas más grandes de la actualidad. Muchos clientes de Nextira que ejecutan grandes cargas de trabajo de IA se beneficiarán directamente de estos nuevos chipsets, lo que aumentará la eficiencia en el ahorro de costos y el rendimiento y generará resultados más rápidos en su mercado”.

Jason Cutrer, fundador y CEO, Nextira

Amazon CodeWhisperer es un complemento de codificación de IA que genera recomendaciones de código de una sola línea o de funciones completas en tiempo real en su entorno de desarrollo integrado (IDE) para que pueda crear software rápidamente.

“Con CodeWhisperer, mejoramos la productividad de los desarrolladores de software, pues proporcionamos recomendaciones de código mediante modelos de IA generativos. Para desarrollar recomendaciones de código altamente eficaces, escalamos nuestra red de DL a miles de millones de parámetros. Nuestros clientes necesitan recomendaciones de código en tiempo real mientras escriben, por lo que las respuestas de baja latencia son fundamentales. Los modelos de IA generativa de gran tamaño requieren una computación de alto rendimiento para ofrecer tiempos de respuesta en una fracción de segundo. Con Inf2, conseguimos la misma latencia que al ejecutar CodeWhisperer en instancias de GPU optimizadas para el entrenamiento de grandes secuencias de entrada y salida. Por lo tanto, las instancias de Inf2 nos ayudan a ahorrar costos y energía, a la vez que ofrecen la mejor experiencia posible a los desarrolladores”.  

Doug Seven, director general de Amazon CodeWhisperer

El motor de búsqueda de productos de Amazon indexa miles de millones de productos, resuelve una infinidad de consultas de clientes diarias y es uno de los servicios más usados a nivel mundial.

“Estoy muy entusiasmado con el lanzamiento de Inf2 en GA. El rendimiento superior de Inf2, junto con su capacidad para gestionar modelos más grandes con miles de millones de parámetros, hace que sea la elección perfecta para nuestros servicios y nos permite abrir nuevas posibilidades en términos de complejidad y precisión de los modelos. Con la importante aceleración y la rentabilidad que ofrece Inf2, su integración en la infraestructura de servicios de Amazon Search puede ayudarnos a satisfacer las crecientes demandas de nuestros clientes. Estamos planificando potenciar nuestras nuevas experiencias de compra mediante LLM generativos con Inf2”. 

Trishul Chilimbi, vicepresidente, Amazon Search