Étude de cas : la plate-forme OpenEI.org du National Renewable Energy Laboratory

Basé à Golden, dans le Colorado, le National Renewable Energy Laboratory (NREL) est le principal laboratoire national du département de l'Énergie des États-Unis consacré à la recherche et au développement sur les énergies renouvelables et l'efficacité énergétique. Le laboratoire inclut des centres de recherche nationaux et des établissements de recherche collaboratifs, qui étudient le vent, la bioénergie et l'énergie photovoltaïque, une méthode de conversion de l'énergie solaire en électricité à courant continu.

Depuis que le Bureau de la gestion et du budget de la Maison-Blanche a lancé l'Open Government Directive en 2009, OpenEI.org, le portail public d'information sur l'énergie du NREL, se concentre sur la publication et le partage de données de recherche provenant de différentes sources. L'organisation héberge actuellement une dizaine de sites web destinés au grand public, qui sont fréquemment mis à jour avec les dernières informations sur l'énergie. Le partage d'informations et la promotion de la collaboration entre les communautés scientifiques font depuis longtemps partie des objectifs du NREL. « Nombre de nos chercheurs souhaitent partager des données et collaborer avec d'autres scientifiques sur le terrain, et pour nous, l'utilisation de solutions basées sur le cloud facilite l'accès aux données externes et la collaboration », explique Chris Webber, ingénieur cloud senior au NREL.

Pour répondre aux besoins du Marine Hydrokinetic Program qui envisageait la création d'un référentiel de données collaboratif, le NREL souhaitait créer une plateforme sécurisée mais collaborative destinée à recueillir, organiser, stocker et partager des données relativement sensibles, tout en se concentrant sur la recherche dans le domaine de l'énergie hydraulique. Dans le cadre de cet effort, le NREL a créé un environnement avec une accréditation ATO (Authority to Operate) de niveau modéré en vertu de la loi FISMA (loi sur la gestion de la sécurité des informations fédérales). Avec l'accréditation ATO FISMA de niveau modéré, le NREL respecte toutes les exigences de cybersécurité obligatoires, tout en ayant la possibilité de gérer et de partager des données relativement sensibles avec d'autres agences et organismes de recherche du gouvernement.

Alors qu'il se préparait à concevoir la nouvelle infrastructure, le NREL savait qu'il devait faire preuve d'agilité et de flexibilité. « Notre objectif était de permettre aux analystes et aux scientifiques de consulter et publier plus facilement des données, mais nous ne voulions pas passer notre temps à gérer l'infrastructure pour y parvenir. Nous souhaitons nous concentrer sur le produit, les données elles-mêmes », précise Webber. Par exemple, le NREL adopte une approche d'équipe DevOps axée sur les besoins du client et s'assure que les métadonnées de recherche sont optimisées pour l'accessibilité. « Nous devons nous assurer de l'utilisation de descripteurs et de mots-clés appropriés pour pouvoir facilement connecter nos utilisateurs à tous les autres sites de recherche », explique Jon Weers, stratégiste Web senior au NREL. « Si les données ne peuvent être découvertes, elles ne sont d'aucune utilité aux chercheurs. »

Le NREL avait également besoin que son nouvel environnement modéré soit évolutif. « Nous voulions que chacun puisse utiliser le site, qui devait donc être suffisamment évolutif pour répondre à ce type de demande ouverte », explique Weers. De plus, le nouvel environnement devait être sécurisé en raison de la sensibilité des données concernées.

Pour répondre à tous ces besoins, le NREL s'est aperçu que le cloud était le bon choix technologique. « Nous sommes une petite équipe, qui travaille avec des clients aux budgets serrés, nous devons donc être à même de tirer parti de ressources évolutives sans beaucoup investir dans l'infrastructure », précise Webber. « Il est logique de créer des référentiels de données et de nombreux autres sites Web sur le cloud. »

Avant de créer son environnement ATO modéré, le NREL avait migré la plateforme de données open source de son initiative OpenEI.org (Open Energy Information) vers Amazon Web Services (AWS). « Grâce à AWS, la plateforme OpenEI bénéficie d'une disponibilité, d'une flexibilité et d'une évolutivité de haut niveau, et nous étions certains qu'il en serait de même pour notre nouvel environnement », explique Webber. De plus, Amazon possède sa propre accréditation ATO FISMA de niveau modéré, ce qui a plu au NREL.

Ayant décidé d'étendre son utilisation d'AWS, le NREL a conçu et lancé un environnement de cloud modéré dans AWS. Outre OpenEI, le nouvel environnement AWS héberge la nouvelle application Marine Hydrokinetic Data Repository (MHKDR). Le département de l'Énergie utilise l'application MHKDR pour collecter des données sur le programme, les conserver en toute sécurité pendant un certain temps et autoriser le département et les laboratoires nationaux à y accéder de façon limitée. Une fois que les données peuvent être publiées, le public peut y accéder à des fins de recherche. L'environnement de Cloud modéré AWS héberge également une base de données de recherche en géothermie et plusieurs autres sites qui se concentrent sur la collaboration et l'accès aux données.

Le NREL prend en charge l'environnement de cloud modéré avec plus de 300 instances Amazon Elastic Compute Cloud (Amazon EC2) et s'appuie sur Elastic Load Balancing pour répartir les requêtes réseau entrantes de l'environnement. Pour optimiser les performances des applications Web dans l'environnement, le NREL utilise Amazon DynamoDB, un service de base de données NoSQL pour les applications nécessitant des latences inférieures à dix millisecondes, et le service Web Amazon ElastiCache pour déployer et dimensionner un cache en mémoire. Grâce à ElastiCache, le NREL peut améliorer les performances des applications en récupérant des informations dans des caches en mémoire rapides au lieu de dépendre de bases de données sur disque plus lentes.

Le NREL utilise Amazon Virtual Private Cloud (Amazon VPC) pour créer des réseaux privés sécurisés dans l'environnement. Pour le stockage de données, l'organisation utilise des compartiments Amazon Simple Storage Service (Amazon S3) pour stocker plusieurs téraoctets de données de recherche et Amazon Elastic Block Storage (Amazon EBS) pour fournir un stockage en mode bloc pour le référentiel MHKDR, la plateforme OpenEI et les bases de données sur l'énergie géothermique.

Pour créer l'environnement de cloud, l'équipe dédiée au cloud du Strategic Energy Analysis Center du NREL a collaboré avec l'Office of the CIO pour respecter plus de 400 contrôles en matière d'accréditation ATO, en documentant les contrôles et en validant la sécurité globale du système. Les données ouvertes et toutes les métadonnées associées aux ensembles de données sont partagées via une interface qui présente les types de données soumis, les descriptions des données et les délais de diffusion au public. Près de 6 000 personnes devraient consulter le nouveau site MHKDR chaque mois. Les métadonnées du référentiel MHKDR sont partagées avec des partenaires de données ouvertes, ce qui permet de découvrir les données qui y sont publiées sur des sites tels que science.gov, la base de données Data Citation Index de Thompson Reuters et Data.gov. Les utilisateurs peuvent accéder aux données du référentiel MHKDR à partir de ces sites de haut niveau, le nombre de téléchargements depuis le référentiel étant classé par ordre de grandeur.

Le nouvel environnement de Cloud modéré AWS permet à la petite équipe d'analyse stratégique dédiée au cloud du NREL de gérer facilement le référentiel MHKDR, la plateforme OpenEI et son site Web consacré à l'énergie géothermique. « Grâce à AWS, je peux tout gérer depuis une seule API, et notamment étudier les performances, surveiller les coûts et créer de nouveaux serveurs virtuels », explique Webber. Son équipe peut également utiliser l'API pour gérer efficacement l'environnement. « Nous avons l'agilité nécessaire pour répondre rapidement à nos clients à l'aide d'AWS », indique Weers. Par exemple, le NREL peut rapidement lancer de nouveaux serveurs pour prendre en charge de nouveaux sites Web à des fins d'analyse interne, de prototypage ou pour répondre à une demande externe urgente. « Nous pouvons lancer de nouveaux sites Web en une journée, alors qu'il nous faudrait plusieurs semaines pour nous procurer un système de stockage et acheter et installer du matériel. Il suffit de quelques appels d'API. »

Le NREL bénéficie également de l'évolutivité dont il a besoin pour lancer rapidement des machines virtuelles, car les chercheurs partageant des données sur les sites Web de l'organisation sont de plus en plus nombreux. « Notre référentiel MHKDR et notre dépôt de données géothermique sont conçus pour le partage de données, et avec AWS, nous pouvons assurer une prise en charge très évolutive », précise Weers. « Grâce à AWS, nous pouvons mettre à disposition toutes ces connexions de données ouvertes pour permettre à quiconque de se rendre sur nos sites Web et notre capacité d'évolution est suffisante pour répondre à ce type de demande ouverte. Si demain, 10 sites Web de plus se connectent au référentiel MHKDR, nous pourrons très facilement les prendre en charge. »

L'organisation réalise également des économies en utilisant AWS. « Les curateurs de données ont moins de travail », précise Weers. « L'ancien environnement était plus classique et comprenait des machines virtuelles internes. Les curateurs devaient appuyer sur beaucoup plus de boutons pour lancer et gérer ces machines. Étant donné qu'ils ne doivent plus s'acquitter de cette tâche, nous enregistrons jusqu'à 30 % d'économies. »

En utilisant AWS pour gérer l'environnement MHKDR, le NREL peut se concentrer davantage sur la qualité des données. « Grâce à AWS, nous sommes plus sereins et nous consacrons moins de temps et d'argent à notre infrastructure. Ainsi, nous pouvons davantage nous concentrer sur la qualité des contenus et des données et sur la visibilité de nos données sur l'énergie renouvelable pour les chercheurs du monde entier. Nos développeurs passent moins de temps à coder les connexions et les protocoles de sécurité et plus de temps à coder les données utiles et les mesures de curation de données », explique Weers.

Grâce aux contrôles de sécurité AWS et aux contrôles mis en place par le NREL, l'environnement ATO est aussi sécurisé que des serveurs de laboratoire internes. « La sécurité est primordiale pour nous. Le département de l'Énergie a approuvé cet environnement de cloud parce qu'il maîtrisait nos protocoles de sécurité », explique Webber. « Notre groupe de cybersécurité nous a aidés à gérer chacun des plus de 400 contrôles ATO dont nous avions besoin. Nombre de ces contrôles étaient déjà gérés par AWS via l'accréditation ATO d'Amazon. Cela nous a vraiment aidés à accélérer l'adoption de ce cloud. »

Après la mise en service de son nouveau cloud modéré, le NREL a migré d'autres applications Web vers l'environnement et continuera de le faire. « Maintenant que nous disposons de cet environnement, je reçois plusieurs appels chaque semaine de chercheurs et de collaborateurs potentiels qui souhaiteraient en profiter », explique Weers. « Nous allons connaître une croissance exponentielle grâce à ce nouvel environnement, et AWS en est une des raisons principales. »