Clients AWS Step Functions

Coinbase est une plateforme sécurisée d'échange de devises numériques qui facilite l'achat, la vente et le stockage de cryptomonnaies telles que Bitcoin, Ethereum et Litecoin. En 2017, Coinbase est le plus grand courtier en bitcoins au monde et dessert des utilisateurs dans 33 pays. Coinbase dispose d'une organisation d'ingénierie très performante. Ils se déploient des centaines de fois par jour sur des centaines de projets, lancent de nouvelles fonctionnalités de l'idée au lancement en moins d'une heure et maintiennent de faibles taux d'échec. Cela est possible parce que la plupart de leurs processus de gestion du changement et de déploiement sont automatisés et que leurs ingénieurs ont adopté une culture DevOps.

Un élément clé de cette automatisation est leur pipeline de déploiement sécurisé et automatisé, Odin. Odin prend une description de la version d'un projet, puis la lance en toute sécurité dans AWS. Coinbase a automatisé Odin à l'aide d'AWS Step Functions, ce qui lui a permis de déployer des applications à 12 facteurs sur AWS de manière simple, fiable et sécurisée. Step Functions a fourni les outils nécessaires à la fiabilité et à la visibilité de bout en bout, avec un modèle d'exploitation sans serveur qui ne nécessite aucune infrastructure à provisionner ou à gérer. Concevoir Odin comme une machine d'état Step Functions permet à Coinbase de surveiller visuellement la progression du déploiement et d'auditer chaque déploiement étape par étape. Grâce à de nouvelles informations sur les raisons de l'échec des services, Coinbase a pu améliorer son taux de réussite des déploiements critiques de 90 % à 97 %. La visibilité offerte aux ingénieurs leur a permis de diagnostiquer et de résoudre rapidement leurs propres problèmes et de réduire le nombre de tickets d'assistance liés à des déploiements infructueux.

« Si une équipe se concentre sur l'intégration d'une automatisation de qualité à ses flux de travail, la stabilité suivra. En mettant en place une automatisation de qualité à l'aide de services tels qu'AWS Step Functions, Coinbase évite la vitesse de négociation au profit de la stabilité, et nous obtenons les deux. »

Graham Jenson, ingénieur des infrastructures, Coinbase

Cox Automotive Inc. facilite l'achat, la vente, la possession et l'utilisation de voitures. Pour soutenir la publicité numérique, ils souhaitaient augmenter le volume et la qualité de leurs modèles de prédiction basés sur le machine learning. Ils craignaient toutefois que leurs modèles ne dérivent au fil du temps, ce qui conduirait à de mauvaises décisions. Injecter la supervision d'un spécialiste des données au processus de reconversion des modèles était la meilleure solution, mais le défi était de le faire sans ralentir l'équipe de science décisionnelle.

Cox Automotive a décidé d'automatiser son flux de travail de livraison de modèles ML avec AWS, y compris un pipeline d'approbation de modèles coordonné par AWS Step Functions. Une fois que les modèles sont réentraînés à l'aide d'Amazon SageMaker, les artefacts de sortie et les diagnostics sont chargés vers Amazon S3, ce qui déclenche Step Functions pour exécuter un flux de travail d'approbation des modèles. Un e-mail est envoyé à un spécialiste des données, qui examine le modèle et clique sur « Approuver » ou « Rejeter ». En cas d'approbation, Step Functions envoie les artefacts vers un compartiment S3 de destination avec une notification Amazon SNS indiquant que le nouveau modèle est prêt à être utilisé.

L'investissement dans l'automatisation a donné aux deux équipes le temps de travailler sur des activités à plus forte valeur ajoutée. Cox Automotive dispose désormais d'un processus automatisé réutilisable qui lui permet de passer plus de temps à créer des modèles plus précis et moins de temps à créer des pipelines de déploiement.

« L'utilisation de services tels qu'Amazon SageMaker et AWS Step Functions pour automatiser le déploiement de modèles nous a permis de fournir à l'entreprise des modèles récurrents de qualité, pour la plupart automatisés, avec un minimum d'intervention humaine et de frais généraux. »

Jeremy Irwin, architecte de solutions principal chez Cox Automotive

CyberGRX crée une plateforme de gestion des risques qui identifie, mesure et hiérarchise les cyber-risques des tiers, transformant ainsi la gestion des cyber-risques des tiers pour les entreprises du monde entier. Il a choisi de s'appuyer sur Amazon Web Services (AWS) en raison de la simplicité du déploiement et de la façon dont la conception s'est facilement adaptée aux flux de travail existants de l'entreprise.

« Nous avions besoin d'exécuter des calculs parallèles massifs sur notre algorithme de réseau bayésien et nous avons décidé d'utiliser l'état de carte distribuée AWS Step Functions parce qu'il offrait la possibilité d'évoluer d'une manière qui n'était pas réalisable auparavant. Grâce à Distributed Map, nous avons pu traiter l'ensemble des données de l'échange, soit 227 000 entreprises - 57 milliards de points de données - en moins d'une heure, alors qu'il nous fallait auparavant plus de 8 jours de traitement. Non seulement cela nous a permis d'économiser énormément de temps de travail, mais cela nous a également permis de réduire considérablement les coûts. »

Charles Burton, directeur, Ingénieur principal en logiciels — CyberGRX

Xylem est une société mondiale de premier plan dans le domaine des technologies de l'eau qui s'engage à développer des solutions technologiques innovantes pour répondre aux défis mondiaux de l'eau. Pour effectuer des analyses, Xylem utilisait un lac de données sur site basé sur Hadoop pour stocker d'énormes quantités de données de comptage d'électricité, d'eau et de gaz. Cependant, cette solution limitait leurs capacités d'analyse des données et n'était pas suffisamment flexible pour permettre l'ajout de nouveaux projets. Le traitement des données prenait de quatre à cinq heures par jour, et s'ils ajoutaient de nouveaux clients, jusqu'à plusieurs jours.

En déplaçant le lac de données Xylem vers une plateforme basée sur AWS exploitant AWS Batch, AWS Step Functions et AWS Lambda, l'équipe chargée des données de Xylem a pu étendre considérablement ses capacités d'analyse de données. Xylem transmet chaque fichier d'entrée à une machine d'état Step Functions, qui valide ensuite le fichier, suit les métadonnées et, enfin, lance et surveille une tâche AWS Batch qui traite les données. Chaque machine à états fonctionne indépendamment et en parallèle. Les tâches AWS Batch allouent automatiquement des conteneurs, et Xylem peut désormais analyser des milliers de fichiers simultanément, sans avoir à se soucier de la concurrence entre les tâches pour les ressources. Xylem a ainsi réduit le temps de traitement des données de 20 heures à seulement deux heures, quelle que soit la taille du jeu de données.

« L'utilisation d'AWS Step Functions dans le cadre du lac de données Xylem a transformé notre rythme d'innovation. Nous pouvons désormais développer des projets d'analyse internes et externes avec moins de transferts vers d'autres ingénieurs, moins d'interruptions avec DevOps et avec plus de technologies que nous n'aurions jamais cru possibles. »

Mitchell Hensley, vice-président en charge de la stratégie logicielle — Xylem