Instances F1 Amazon EC2
Permettre un développement plus rapide d’accélérateur FPGA et son déploiement dans le Cloud
Les instances Amazon EC2 F1 utilisent des FPGA pour fournir des accélérations matérielles personnalisées. Les instances F1 sont faciles à programmer et comprennent tout ce dont vous avez besoin pour développer, simuler, déboguer et compiler votre code d'accélération matérielle, notamment une AMI prenant en charge le développement au niveau du cloud. L’utilisation d’instances F1 pour le déploiement d’accélérations matérielles peut être utile dans de nombreuses applications pour résoudre des problèmes scientifiques, commerciaux et d’ingénierie complexes nécessitant une bande passante élevée, une excellente mise en réseau et des capacités de calcul très élevées. Parmi ces applications, on trouve la recherche génomique, la recherche et l’analyse, le traitement d’images et de vidéos, la sécurité du réseau, l’automatisation de la conception de composants électroniques (EDA), la compression d’images et de fichiers et l’analyse Big Data.
Les instances F1 procurent différents environnements de développement aussi bien à des développeurs de matériel amateurs qu’à des développeurs de logiciels plus aptes en matière d’environnements C/C++ et openCL (disponibles sur notre GitHub). Une fois la conception de votre FPGA terminée, vous pouvez l'enregistrer en tant qu'AFI (Amazon FPGA Image) et la déployer sur votre instance F1 en seulement quelques clics. Vous pouvez réutiliser vos AFI autant de fois et sur autant d'instances F1 que vous le souhaitez. Les outils de développement ne génèrent pas de frais supplémentaires lors de l’utilisation de l’AMI de développeur FPGA, et vous pouvez programmer les FPGA sur votre instance F1 autant de fois que vous le souhaitez sans frais supplémentaires.
Avantages
CALCUL HAUTE PERFORMANCE ÉVOLUTIF
Contrairement aux systèmes sur site, l'exécution d’un calcul haute performance sur des instances F1 Amazon EC2 offre une capacité pratiquement illimitée de faire évoluer votre infrastructure et vous offre la flexibilité qu’il faut pour modifier les ressources facilement, aussi souvent que votre charge de travail l'exige. Vous pouvez configurer vos ressources pour répondre aux exigences de votre application et lancer les nombreuses instances FPGA nécessaires en quelques minutes, en ne payant que ce que vous utilisez.
DIVISER LE TEMPS DE CALCUL PAR 100
Les instances F1 Amazon EC2 traitent les données 100 fois plus vite que les UC lorsqu’ils utilisent différentes applications de calcul. Les clients peuvent développer, tester et déployer des accélérateurs personnalisés directement depuis AWS Marketplace afin d’accélérer facilement les pipelines de calcul. Il est inutile de savoir comment programmer les FPGA, car les produits F1 développés par les partenaires de technologie F1 se présentent comme n’importe quel logiciel d’instance EC2.
LE DÉVELOPPEMENT D’ACCÉLÉRATION FACILE
Des développeurs peuvent accélérer le développement FPGA avec des outils basés sur le cloud et des flux qui leur permettent de se concentrer sur les programmes d’accélération de la valeur ajoutée. Les développeurs peuvent acquérir une expérience pratique grâce à des didacticiels en ligne à suivre à son propre rythme et apprendre à partir de nombreux exemples GitHub. Pour faciliter le processus de débogage, AWS a développé des outils de dépannage virtuel de matériel, notamment les JTAG virtuels, offrant un environnement de développement familier permettant à plusieurs développeurs de progresser sans dépendre des ressources limitées à leur disposition sur site.
Cas d'utilisation
Recherche en génomique
Les instances Amazon EC2 F1 sont l'option idéale pour traiter des quantités massives de données génomiques, fournir les résultats les plus rapides, avec la meilleure précision et un faible coût par génome. Les FPGA peuvent accélérer le calcul de la prochaine génération de séquençage (NGS) jusqu’à 30 fois par rapport aux dernières instances basées sur les CPU sur AWS.
Mise en réseau et sécurité
Les instances Amazon EC2 F1 offrent la possibilité de calculer efficacement des paquets de réseau au débit de ligne en utilisant la fonction Ethernet virtuel. Grâce à cette fonctionnalité, les FPGA actifs peuvent être utilisés pour des applications de sécurité comme l'inspection approfondie des paquets ou les répartiteurs de charge haute performance ou d'autres applications de réseau qui nécessitent un traitement des paquets en temps réel.
Traitement vidéo en temps réel
Les applications de transcodage vidéo diffusées en direct utilisant des instances F1 offrent des performances supérieures à celles des applications utilisant des instances de calcul. Les instances F1 sont une solution idéale pour répondre aux besoins de ces applications, en réduisant les coûts de calcul sans compromettre la qualité.
Recherche et analyse Big Data
Les exigences en matière de volume, de variété et de vitesse d'analyse de données et de recherche dans de nombreuses applications de Big Data ont augmenté à tel point que les clients se tournent vers l'accélération matérielle pour tenir le rythme. Pour ces applications, les clients peuvent tirer parti des performances améliorées des instances F1 pour répondre à leurs besoins en matière d’analyse et de recherche Big Data.
Analyses financières
Les organismes financiers peuvent utiliser les instances F1 pour obtenir plus rapidement les résultats de la modélisation et de l'analyse des risques, de l'analyse des transactions pour la sécurité en plus des autres charges de travail.
Fonctions
Field Programmable Gate Array (FPGA)
Les FPGA sont des appareils matériels reprogrammables pouvant mettre en œuvre n’importe quelle fonction logique. Les FPGA sont donc similaires à des éléments en silicone personnalisés (circuits intégrés spécifiques pour application aka ou ASICS) permettant aux développeurs de créer des processeurs/accélérateurs personnalisés fournissant des calculs optimisés sur mesure pour accélérer une charge de travail spécifique. Cela permet dans certains cas spécifiques une accélération significative si l’on compare aux solutions de calcul fixes telles que les processeurs et les GPU.
Kit de développement
Les développeurs peuvent commencer à utiliser des instances F1 en créant un compte AWS et en téléchargeant le kit de développement FPGA AWS. Ce kit est disponible sur GitHub et inclut toute la documentation sur les interfaces F1 FPGA internes et les scripts de compilateur pour générer les images FPGA Amazon (AFI). Les FPGA AWS prennent en charge plusieurs environnements de développement utilisés par les développeurs de matériels et de logiciels. Le HDK permet le développement de matériel personnalisé et l’environnement défini par logiciel permet le développement d’accélérations à l’aide de code C/C++/OpenCL, sans avoir à connaître le matériel. Cela permet le développement rapide de FPGA pour les instances F1 EC2.
AMI pour développeurs FPGA
L'AMI pour développeurs FPGA inclut Xilinx Vivado, sans frais logiciel supplémentaire, ainsi qu’un environnement de développement d'outils préconfiguré, doté de scripts et d'outils pour simuler votre conception FPGA et créer et enregistrer votre AFI. L'AMI pour développeurs FPGA inclut également des outils pour le débogage et la compilation de votre code. Vous pouvez déployer une AMI destinée aux développeurs FPGA sur une instance Amazon EC2 et mettre rapidement en service les ressources dont vous avez besoin pour écrire et tester votre conception FPGA.
Témoignage client
Nous avons pu utiliser les instances F1 basées sur FPGA pour accélérer radicalement le processus de séquençage du génome complet. Ainsi, ce qui nous demandait auparavant 20 heures de calculs peut maintenant être réalisé en seulement trois heures.
Professeur Torsten Haferlach, Président-directeur général, Munich Leukemia Lab
Partenaires technologiques
Bigstream est une technologie d'accélération automatisée pour Apache Spark. Elle comprend un compilateur et un environnement d’exécution qui dirige l'exécution des tâches de l'application Spark vers les instances Amazon F1 FPGA ne nécessitant aucun changement de code utilisateur. Un environnement utilisateur 10 fois plus performant. Outre l'exploitation d'un seul nœud, Bigstream prend également en charge le regroupement des instances F1. Bigstream est disponible gratuitement en version préliminaire publique en tant qu'Amazon Machine Image (AMI) pour les instances F1 Amazon Elastic Compute Cloud (EC2) de toutes tailles.
Merlin™ Compiler apporte la puissance de l'accélération FPGA aux développeurs d'applications avec un modèle de programmation logiciel simple et sans aucune connaissance matérielle requise. Il fournit un flux de compilation automatisé allant de C/C++ aux accélérateurs FPGA hautement optimisés. Il permet des gains de productivité importants tout en maintenant des performances comparables à l'optimisation manuelle.
La plateforme Illumina DRAGEN Bio-IT permet une analyse précise et ultra-rapide des données de séquençage du génome secondaire. Elle permet aux laboratoires de toutes tailles et de toutes disciplines d'en faire plus avec leurs données génomiques. La plateforme DRAGEN utilise des instances Amazon EC2 F1 FPGA pour fournir des implémentations accélérées au niveau matériel des algorithmes d'analyse génomique, tels que la conversion BCL, la cartographie, l'alignement, le tri, le marquage des doublons et l'appel de variantes d'haplotypes. L'analyse secondaire d'un génome humain avec DRAGEN prend moins de 20 minutes sur les instances Amazon EC2 F1, ce qui est 30 fois plus rapide que sans accélération. Dragen sur AWS est disponible ici ou via le centre de séquençage Illumina BaseSpace.
InAccel FPGA-Accelerated ML (AML) Suite fournit un ensemble d'accélérateurs qui fonctionnent sur les instances Amazon EC2 F1 pour les applications ML. Les applications développées à l'aide de frameworks courants, tels qu'Apache Spark, Scikit-learn et Keras, peuvent être accélérées grâce à InAccel FPGA-Accelerated ML Suite. Elle est fournie sous la forme d'une AMI entièrement intégrée qui peut être utilisée pour accélérer les algorithmes de deep learning et de machine learning pour la classification et le regroupement. Le nouveau conteneur Docker « FPGA Resource Manager » d'InAccel gère toutes les ressources FPGA disponibles, ce qui permet aux développeurs d'adapter de manière transparente leurs charges de travail conteneurisées à plusieurs instances F1.
rENIAC est un accélérateur Cassandra entièrement géré et hautement disponible, activé par les instances d'Amazon EC2 F1, qui stocke plusieurs téraoctets de données à chaud pour améliorer les performances de 10 fois plus, multiplier par 10 la densité et réduire de 15 fois la latences par rapport à Cassandra seul. rENIAC exploite les SSD pour mettre les données en cache, étroitement couplé à une accélération FPGA pour accéder et fournir des téraoctets de données avec des performances de type « en mémoire ». rENIAC est également compatible avec les clusters DataStax.
Socionext, un des principaux fournisseurs de produits de traitement et de distribution vidéo, possède des décennies d'expertise en matière de solutions matérielles, essentielles au développement d'une plateforme de serveur virtuel puissante et innovante FPGA. En collaborant avec AWS, Socionext propose une solution de codage à accélération matérielle et basée sur le cloud sur les instances d'Amazon EC2 F1, qui garantit des flux vidéo cohérents et de haute qualité tout en réduisant considérablement le temps de traitement et les coûts de diffusion.
Trend Micro offre une sécurité automatisée, flexible et tout-en-un aux clients AWS via la plateforme Trend Micro Cloud One. Trend Micro, un partenaire technologique avancé, exploite les instances Amazon EC2 F1 pour permettre à nos clients communs de maximiser l'efficacité et les performances de calcul pour inspecter le trafic réseau, ce qui permet aux clients de déployer rapidement et efficacement une sécurité de couche réseau large et évolutive sur AWS.
« Grâce aux instances Amazon EC2 F1, Valtix peut fournir un chiffrement/déchiffrement SSL à haute performance et faible latence et une inspection approfondie des paquets (DPI) pour la détection des menaces », souligne Vijay Chander, le directeur technique et co-fondateur de Valtix. Cela donne à Valtix un avantage en tant que premier service de sécurité de réseau avancé natif cloud qui protège contre les attaques, empêche l'exfiltration et stoppe le mouvement latéral des menaces. Les clients peuvent rapidement découvrir leurs applications dans le cloud, déployer une sécurité Auto Scaling et défendre leurs applications ».
Description détaillée
Nom | FPGA |
Processeurs virtuels | Mémoire des instances (Gio) | Stockage sur SSD (Go) | Mise en réseau améliorée | Optimisée pour EBS | Prix/heure pour les instances à la demande* | Tarif horaire effectif des instances réservées sur 1 an* | Tarif horaire effectif des instances réservées sur 3 ans* |
---|---|---|---|---|---|---|---|---|---|
f1.2xlarge | 1 |
8 | 122 | 470 |
Oui | Oui | 1,65 USD | 1,06 USD | 0,76 USD |
f1.4xlarge | 2 | 16 | 244 |
940 |
Oui | Oui | 3,30 USD | 2,12 USD | 1.52 USD |
f1.16xlarge | 8 |
64 | 976 |
4 x 940 |
Oui | Oui | 13,20 USD | 8,50 USD | 6,10 USD |
* Les prix affichés sont correspondent aux environnements Linux/Unix dans la région AWS USA Est (Virginie du Nord) et sont arrondis au cent le plus proche. Les tarifs pour 1 an et 3 ans des instances réservées correspondent aux options de paiement « Frais initiaux partiels ». Pour consulter l'ensemble des informations de tarification, consultez la page relative à la tarification d'Amazon EC2.
Billets de blog et articles
Tutoriels
Solutions partenaires
Ressources supplémentaires
Déploiement d'Illumina DRAGEN sur le Cloud AWS avec le nouveau Quick Start
Démarrer avec AWS
Créer un compte AWS
Apprenez-en plus avec les didacticiels de 10 minutes
Commencez à créer avec AWS
Essayez Amazon EC2 gratuitement !
L'offre gratuite d'AWS inclut 750 heures par mois d'utilisation d'instances t2.micro Linux et Windows durant un an. Pour rester dans le cadre du niveau gratuit, vous devez uniquement utiliser des instances EC2 Micro. Voir les détails relatifs à l'offre gratuite d'AWS >>