Ingérez, transformez et acheminez des données à grande échelle vers les domaines Amazon OpenSearch et les collections sans serveur
Amazon OpenSearch Ingestion est une fonctionnalité d'Amazon OpenSearch Service qui vous permet d'ingérer, de filtrer, de transformer, d'enrichir et d'acheminer des données vers un domaine Amazon OpenSearch ou une collection sans serveur. Amazon OpenSearch Ingestion est capable d'ingérer des données provenant d'un large éventail de sources et dispose d'un riche écosystème de processeurs intégrés pour répondre à vos besoins de transformation de données les plus complexes. Amazon OpenSearch Ingestion fonctionne par nature sans serveur et évoluera automatiquement pour répondre aux exigences de vos charges de travail les plus exigeantes. Vous pouvez ainsi vous concentrer sur votre logique métier tout en vous débarrassant de la complexité de la gestion de pipelines de données complexes pour vos cas d'utilisation en matière d'observabilité et de sécurité.
Avantages
Optimisation des coûts
Réduisez les coûts de stockage en dédupliquant, en échantillonnant et en acheminant les données bruyantes vers un stockage à moindre coût.
Qualité des données
Renforcez la qualité des données en les transformant, en les filtrant et en les enrichissant à l'aide de processeurs intégrés et en adoptant des schémas pour accélérer l'observabilité et réduire les délais d’examen de sécurité.
Protection des données
Protégez les données sensibles en rédigeant et en masquant les informations sensibles avant qu'elles n'arrivent à destination.
Sécurité et conformité
Acheminez les données à l'aide d'une logique conditionnelle afin de garantir la conformité aux lois sur la résidence des données.
Fonctionnement
Écrivez vos données dans un domaine Amazon OpenSearch ou une collection OpenSearch sans serveur pour rechercher, analyser et visualiser des données afin d'obtenir des informations en temps réel.
Le diagramme montre comment filtrer, enrichir, transformer, normaliser et agréger des données à des fins d'analyse et de visualisation en aval dans les domaines Amazon OpenSearch et les collections Amazon OpenSearch sans serveur. Une icône représentant Amazon OpenSearch Ingestion s'affiche et indique son impact sur les pipelines de journalisation ou de traçage.
La première section comporte une icône illustrant Amazon OpenSearch Ingestion, superposée au-dessus de la section du journal ou du pipeline de suivi. L'illustration se lit comme suit : « Ingestion complète des données à des fins d'observabilité et d'analyse de sécurité ».
La deuxième section est intitulée « Pipeline de journalisation et de suivi » et comprend trois icônes indiquant comment les données sont ingérées depuis une source de pipeline vers les processeurs de données et enfin vers un récepteur de pipeline. Les données circulent de l'icône 1 à l'icône 2, puis à l'icône 3. La première icône s'intitule « Source du pipeline ». La deuxième icône s'intitule « Processeurs de données ». La troisième icône s'intitule « Récepteur de pipeline ».
La troisième section montre qu'une fois ingérées et triées, les données peuvent être écrites soit dans un domaine Amazon OpenSearch Service, soit dans une collection Amazon OpenSearch sans serveur. Deux icônes sont empilées l'une sur l'autre. La première icône est intitulée « Domaine Amazon OpenSearch Service » et la deuxième icône est intitulée « Collections Amazon OpenSearch sans serveur ».
Fonctions principales
AWS est l'un des principaux contributeurs du projet OpenSearch, qu'utilisent de nombreux clients. Vous obtiendrez toutes les innovations pour OpenSearch Data Prepper au sein de ce service géré. Au-delà de ces fonctionnalités, auxquelles la communauté participe et contribue, Amazon OpenSearch Ingestion Service propose également les suivantes :
Installation de logiciels gérés par AWS et correctifs
AWS surveille et répare le service, 24 heures sur 24, 7 jours sur 7.
AWS met les versions à niveau.
Aucun temps d'arrêt pour les mises à jour et les mises à niveau
SLA en matière de disponibilité : 99,9 %
Sans serveur, avec autoscaling pour les charges de travail d'ingestion
Clients et partenaires
-
CyberArk
-
Calyptia
-
Confluent
-
CyberArk
-
.b6a27b975cd1a88ec7810a0258a2ae39ebbe77db.png "Cyberark")
« Chez CyberArk EPM (Endpoint Privilege Manager), un système multiple basé sur le cloud, nous gérons des millions de points de terminaison et collectons des événements de données à fort trafic à l'aide d'AWS OpenSearch. En tirant parti d'Amazon OpenSearch Ingestion, nous avons remplacé notre ancien pipeline Logstash autogéré par un pipeline géré par AWS, ce qui nous a permis de nous affranchir de la gestion de notre propre infrastructure et nous a fourni une architecture plus évolutive, rentable, fiable et sécurisée pour notre ingestion de données. Cette décision a été prise avec l'avantage supplémentaire que CyberArk EPM a obtenu le statut FedRAMP High In-Process, alors qu'Amazon OpenSearch Ingestion est déjà conforme à FedRAMP, ce qui nous permet de maintenir un haut niveau de sécurité dans notre offre ».
Ori Doolman, architecte logiciel senior - CyberArk EPM
-
Calyptia
-
« Chez Calyptia, nous travaillons sur l'ingestion de données depuis plus de 12 ans en tant que créateurs et responsables du projet Cloud Native Computing Foundation, Fluentd et Fluent Bit. Avec les dernières versions de ces projets, nous sommes impatients de permettre aux utilisateurs d'avoir plus de contrôle dès le début grâce à la combinaison des projets Fluent et du service d'ingestion OpenSearch. Grâce au service d'ingestion, les utilisateurs peuvent continuer à faire évoluer les agents et le traitement sans avoir à se soucier de la gestion et de la maintenance de l'infrastructure ».
Anurag Gupta, cofondateur de Calyptia
-
Confluent
-
« Nous sommes ravis de collaborer avec l'équipe Amazon OpenSearch alors qu'elle développe son service OpenSearch Ingestion, qui fournira une intégration native avec Apache Kafka et Confluent. Cette intégration aidera nos clients communs à accéder à des données en temps réel via Apache Kafka au sein d'OpenSearch afin qu'ils puissent repenser les expériences client, créer des opérations de backend en temps réel ou lancer de nouveaux produits et services. En tant que principal contributeur à Apache Kafka, Confluent a multiplié Kafka par 10 en développant une plateforme de streaming de données complète et native pour le cloud qui vous permet de transférer des données depuis l'endroit où elles ont été créées vers un endroit où les entreprises peuvent agir dans le monde multi-SaaS dans lequel nous vivons tous. Cela permet aux utilisateurs d'OpenSearch de bénéficier des centaines de sources de données auxquelles Confluent est intégré. Nous sommes impatients de voir ce que nos clients communs vont créer en mettant des données en mouvement avec Confluent et OpenSearch ».
Paul Mac Farland, vice-président de Partner & Innovation Ecosystem - Confluent
Ressources
Questions fréquentes (FAQ)
Q : Pourquoi utiliser Amazon OpenSearch Ingestion ?
Amazon OpenSearch Ingestion est un niveau d'ingestion de données qui vous permet de filtrer, d'enrichir, de transformer, de normaliser et d'agréger des données à des fins d'analyse et de visualisation en aval dans les domaines Amazon OpenSearch et les collections Amazon OpenSearch sans serveur. Amazon OpenSearch Ingestion vous permet de créer des pipelines de données personnalisés afin d'améliorer la vue opérationnelle de vos applications. La nature sans serveur d'Amazon OpenSearch Ingestion élimine les complexités liées à la gestion automatique des pipelines de données et garantit que les capacités de traitement de vos pipelines de données évoluent automatiquement en fonction des exigences de vos charges de travail. Avec Amazon OpenSearch Ingestion, vous pouvez
- Réduisez les coûts de stockage grâce à la déduplication des données et à l'échantillonnage afin d'empêcher l'indexation de données bruyantes dans Amazon OpenSearch.
- Renforcez la qualité des données et adoptez des schémas courants en transformant, en formatant et en enrichissant les données avant qu'elles ne soient indexées dans les domaines Amazon OpenSearch, ce qui facilite la résolution des problèmes.
- Rédigez ou masquez les informations sensibles avant qu'elles n'arrivent à destination afin de vous conformer aux lois sur la résidence des données.
Q : Quels sont les principaux composants d'un pipeline Amazon OpenSearch ?
Un pipeline d'ingestion Amazon OpenSearch comprend trois composants principaux :
- La source est le composant d'entrée d'un pipeline. Il définit le mécanisme par lequel un pipeline consomme des enregistrements. La source peut consommer des enregistrements soit en recevant des données via http/s, soit en les lisant à partir de points de terminaison tiers externes.
- Les processeurs sont des unités de traitement intermédiaires qui peuvent filtrer, transformer et enrichir les enregistrements dans le format souhaité avant de les publier sur le récepteur. Le processeur est un composant optionnel d'un pipeline. Si vous ne définissez pas de processeur, les enregistrements sont publiés dans le format défini dans la source. Vous pouvez utiliser plusieurs processeurs. Les processeurs sont exécutés dans l'ordre dans lequel vous les avez définis dans le pipeline.
- Le récepteur est le composant de sortie d'un pipeline. Il définit une ou plusieurs destinations vers lesquelles un pipeline publie des enregistrements. Un récepteur peut également être un autre pipeline, ce qui vous permet d'enchaîner plusieurs pipelines entre eux.
Q : Quels types de données puis-je ingérer à l'aide d'Amazon OpenSearch Ingestion ?
Amazon OpenSearch prend en charge l'ingestion de tous les types de données que vous indexeriez normalement dans un domaine Amazon OpenSearch. Cela inclut, sans toutefois s'y limiter, les données structurées, non structurées, textuelles, numériques et géospatiales. OpenSearch Ingestion prend également en charge l'ingestion des trois piliers des données d'observabilité : journaux, métriques et traces. Vous pouvez utiliser OpenSearch Ingestion ainsi que sa prise en charge d'un riche écosystème de sources de données, de processeurs et de récepteurs pour transformer vos données avant de les stocker dans des domaines Amazon OpenSearch. Avec OpenSearch Ingestion, vous n'avez plus besoin d'écrire une fonction lambda personnalisée ni de gérer vous-même les nœuds d'ingestion Logstash et Elasticsearch pour ingérer des données qui doivent être indexées dans des clusters Amazon OpenSearch. Consultez notre page de documentation pour consulter la liste des sources, des processeurs et des récepteurs pris en charge par Amazon OpenSearch Ingestion.
Q. Quel est le lien entre Amazon OpenSearch Ingestion et le projet Amazon OpenSearch ?
Amazon OpenSearch Ingestion est un niveau d'ingestion de données qui prétraite les données avant qu'elles ne soient indexées dans Amazon OpenSearch Service. OpenSearch Ingestions est construit avec Data Prepper, qui est un composant du projet OpenSearch et prend en charge tous les formats de données, les sources, les processeurs et les récepteurs pris en charge par Data Prepper.
Q. Comment commencer à utiliser Amazon OpenSearch Ingestion ?
Pour commencer à utiliser Amazon OpenSearch Ingestion, vous devez commencer par définir un pipeline de données. Un pipeline d'ingestion OpenSearch est au cœur de votre logique métier et se compose d'une source, d'un processeur unique ou d'une série de processeurs et d'un récepteur. Vous définissez la configuration de votre pipeline via un fichier YAML qui contient les détails de votre source, de vos processeurs et de vos récepteurs. OpenSearch Ingestion vous permet également de configurer une capacité minimale et maximale des unités de calcul OpenSearch pour l'ingestion (OCU) que vous souhaitez définir par pipeline. Enfin, vous pouvez choisir la manière dont vos données parviennent à vos pipelines d'ingestion OpenSearch :
- Accès au VPC : pour l'accès au VPC, nous établissons un lien privé entre votre VPC et le pipeline d'ingestion Amazon OpenSearch. Cela fournit une connectivité privée à vos pipelines sans exposer votre trafic à l'Internet public.
- Accès public : Dans cette configuration réseau, les données de vos pipelines OpenSearch circulent sur l'Internet public.
Vous pouvez commencer par créer un pipeline de données via la console AWS ou la ligne de commande AWS.
Démarrage avec Amazon OpenSearch Service
Découvrez les avantages supplémentaires de l'ingestion et de l'intégration.
Découvrez les fonctionnalités de sécurité, la hiérarchisation du stockage, et plus encore.
Profitez des conseils d'experts, des outils et des incitations financières dont vous avez besoin pour migrer facilement.