Clientes de AWS Step Functions

Coinbase es una plataforma digital segura de cambio de divisas que facilita la compra, venta y almacenamiento de criptomonedas, como Bitcoin, Ethereum y Litecoin. Desde 2017, Coinbase es el mayor corredor de bitcoins del mundo y presta servicios a usuarios en 33 países. Coinbase cuenta con una organización de ingeniería de alto rendimiento. Se implementan cientos de veces al día en cientos de proyectos, lanzan nuevas funciones desde la idea hasta el lanzamiento en menos de una hora y mantienen bajas tasas de fallos. Esto es posible porque la mayoría de sus procesos de implementación y administración de cambios están automatizados y sus ingenieros adoptaron una cultura DevOps.

Una parte clave de esa automatización es Odin, su canal de implementación seguro y automatizado. Odin toma una descripción de la versión de un proyecto y, a continuación, la lanza de forma segura en AWS. Coinbase automatizó Odin mediante AWS Step Functions, lo que les permitió implementar aplicaciones de 12 factores en AWS de manera fácil, confiable y segura. Step Functions proporcionó las herramientas de fiabilidad y visibilidad integral listas para usar, con un modelo operativo sin servidor que no requiere aprovisionar ni administrar ninguna infraestructura. Diseñar Odin como una máquina de estados de Step Functions permite a Coinbase supervisar visualmente el progreso de la implementación y auditar cada implementación paso a paso. Con una nueva visión de las razones por las que fallaban los servicios, Coinbase pudo mejorar su tasa de implementaciones de misión crítica exitosas del 90 % al 97 %. La visibilidad proporcionada a los ingenieros les permitió diagnosticar y resolver sus propios problemas rápidamente y redujo la cantidad de boletos de soporte relacionados con implementaciones fallidas.

“Si un equipo se centra en incorporar una automatización de calidad en sus flujos de trabajo, la estabilidad es lo primero. Al crear una automatización de calidad con servicios como AWS Step Functions, Coinbase evita la velocidad de las negociaciones en aras de la estabilidad y, en cambio, obtenemos ambas”.

Graham Jenson, Infrastructure Engineer en Coinbase

Cox Automotive Inc. facilita la compra, la venta, la posesión y el uso de automóviles. Para respaldar la publicidad digital, querían aumentar el volumen y la calidad de sus modelos de predicción de machine learning. Sin embargo, les preocupaba que sus modelos pudieran cambiar con el tiempo y llevarlos a tomar malas decisiones. La mejor solución era incorporar la supervisión de un científico de datos al proceso de reentrenamiento del modelo, pero el desafío consistía en hacerlo sin ralentizar el equipo de Decision Science.

Cox Automotive decidió automatizar su flujo de trabajo de entrega de modelos de ML con AWS, incluido un proceso de aprobación de modelos coordinado por AWS Step Functions. Una vez que los modelos se vuelven a entrenar con Amazon SageMaker, los artefactos de salida y los diagnósticos se cargan en Amazon S3, lo que activa Step Functions para ejecutar un flujo de trabajo de aprobación del modelo. Se envía un correo electrónico a un científico de datos, que revisa el modelo y hace clic en “Aprobar” o “Rechazar”. Si se aprueba, Step Functions envía los artefactos a un bucket de S3 de destino con una notificación de Amazon SNS en la que se indica que el nuevo modelo está listo para su consumo.

La inversión en automatización les dio a ambos equipos tiempo para trabajar en actividades de mayor valor. Cox Automotive ahora cuenta con un proceso automatizado y reutilizable que les permite dedicar más tiempo a la creación de modelos más precisos y menos tiempo al desarrollo de procesos de implementación.

“El uso de servicios como Amazon SageMaker y AWS Step Functions para automatizar la implementación de modelos nos ha permitido ofrecer modelos recurrentes de calidad y en su mayoría automatizados a la empresa con intervención humana y gastos generales mínimos”.

Jeremy Irwin, Lead Solutions Architect en Cox Automotive

CyberGRX crea una plataforma de gestión de riesgos que identifica, mide y prioriza los riesgos informáticos de terceros, lo que transforma la gestión de riesgos informáticos de terceros para las empresas de todo el mundo. Eligió basarse en Amazon Web Services (AWS) debido a la simplicidad de la implementación y a la facilidad con la que el diseño se adaptaba fácilmente a los flujos de trabajo existentes de la empresa.

“Necesitábamos ejecutar cálculos paralelos masivos en nuestro algoritmo de red bayesiana y decidimos utilizar el estado del mapa distribuido de AWS Step Functions porque nos permitía desescalar horizontalmente de una manera que antes era inalcanzable. Con el mapa distribuido, pudimos procesar toda la bolsa, compuesta por 227 000 empresas (57 000 millones de puntos de datos) en menos de una hora, lo que antes nos llevaba más de 8 días de procesamiento. No solo nos ahorró una enorme cantidad de tiempo de mano de obra, sino que también hizo que fuera mucho más barato”,

Charles Burton, director, ingeniero de software sénior de CyberGRX

Xylem es una empresa líder mundial en tecnología del agua comprometida con el desarrollo de soluciones tecnológicas innovadoras para los desafíos del agua en el mundo. Para realizar análisis, Xylem utilizaba un lago de datos local basado en Hadoop para almacenar enormes cantidades de datos de medición de electricidad, agua y gas. Sin embargo, esta solución limitaba sus capacidades de análisis de datos y no era lo suficientemente flexible como para permitir la incorporación de nuevos proyectos. El procesamiento de datos tardaba de cuatro a cinco horas cada día y hasta varios días si se añadían nuevos clientes.

Al trasladar el lago de datos de Xylem a una plataforma basada en AWS que aprovecha AWS Batch, AWS Step Functions y AWS Lambda, el equipo de datos de Xylem pudo ampliar drásticamente sus capacidades de análisis de datos. Xylem envía cada archivo de entrada a una máquina de estados de Step Functions, que luego valida el archivo, rastrea los metadatos y, por último, lanza y supervisa un trabajo de AWS Batch que procesa los datos. Cada máquina de estados funciona de forma independiente y en paralelo. Los trabajos de AWS Batch asignan los contenedores automáticamente y Xylem ahora puede analizar miles de archivos en simultaneo, sin tener que preocuparse de que los trabajos compitan por los recursos. Como resultado, Xylem redujo el tiempo de procesamiento de datos de 20 horas a solo dos, sin importar el tamaño del conjunto de datos.

“El uso de AWS Step Functions como parte del lago de datos de Xylem transformó nuestro ritmo de innovación. Ahora podemos desarrollar proyectos de análisis internos y externos con menos transferencias a otros ingenieros, menos interrupciones con DevOps y con más tecnologías de las que creíamos posibles”.

Mitchell Hensley, Vice President, Software Strategy, Xylem