Les intégrations constituent un moyen essentiel de réduire les coûts opérationnels, en particulier lorsqu'elles sont intégrées à vos systèmes de données. Grâce à des intégrations de données clés entre Amazon OpenSearch Service et d'autres services AWS, vous pouvez tirer parti des principaux avantages d'OpenSearch Service sur vos données, où qu'elles soient stockées, ce qui réduit souvent les coûts opérationnels et la complexité de la gestion des données. En outre, l'ingestion de données permet une conversion, un nettoyage, un mappage et un chargement efficaces des données, de sorte que les données soient disponibles immédiatement après l'interrogation sans surcharger les systèmes de calcul et de réseau de votre cluster.
Avec Amazon OpenSearch Service, vous pouvez facilement accomplir tout cela en tirant parti d'Amazon OpenSearch Ingestion et des intégrations avec divers services AWS, notamment Amazon Kinesis Data Firehose, Logstash, Amazon CloudWatch ou AWS IoT. Et grâce aux intégrations zéro ETL, notamment avec Amazon S3 et DynamoDB, vous pouvez accomplir encore plus. Ces intégrations et connexions vous offrent la flexibilité nécessaire pour sélectionner l'outil d'intégration et d'ingestion qui répond aux exigences de votre cas d'utilisation.
Ingestion de données à l'aide d'Amazon OpenSearch Ingestion
Amazon OpenSearch Ingestion est une fonctionnalité d'Amazon OpenSearch Service qui permet de collecter, de transformer et d'acheminer des données vers des domaines Amazon OpenSearch Service. OpenSearch Ingestion permet de réduire les coûts et de garantir la qualité des données. Le service d'ingestion OpenSearch exécute les pipelines OpenSearch Data Prepper sous la forme d'un processus sans serveur qui évolue automatiquement en fonction des besoins de traitement de vos charges de travail d'ingestion. En savoir plus »
Intégration zéro ETL d'Amazon OpenSearch Service avec Amazon S3
L'intégration zéro ETL d'Amazon OpenSearch Service avec Amazon S3 est une nouvelle façon de se connecter à ses données, permettant aux clients d'utiliser les fonctionnalités interactives enrichies d'OpenSearch Service directement sur les données rarement interrogées stockées dans leur lac de données Amazon S3 avec zéro ETL. La connexion zéro-ETL avec S3 évite aux clients de créer ou de gérer des pipelines ETL complexes. Cela leur permet d'effectuer des requêtes essentielles pour obtenir des informations et visualiser les données de sécurité et d'observabilité, tout en réduisant les coûts et la complexité opérationnelle de la duplication des données ou à la gestion de plusieurs outils d'analyse. En savoir plus >>
Intégration zéro ETL avec DynamoDB
L'intégration zéro ETL d'Amazon OpenSearch Service avec Amazon DynamoDB vous permet d'utiliser des fonctionnalités de recherche avancées telles que la recherche en texte intégral et la recherche vectorielle sur vos données opérationnelles dans Amazon DynamoDB. Cette intégration zéro ETL utilise Amazon OpenSearch Ingestion pour synchroniser de manière fluide vos données entre Amazon DynamoDB et Amazon OpenSearch Service sans avoir à écrire de code personnalisé. Cette intégration zéro ETL réduit la charge opérationnelle et les coûts liés à la synchronisation des données entre ces deux magasins, vous permettant ainsi de vous concentrer sur vos applications. En savoir plus>>
Ingestion de données à l'aide d'Amazon Kinesis Data Firehose
Grâce à Amazon Kinesis Firehose, vous pouvez facilement convertir les données brutes en streaming provenant de vos sources de données dans les formats requis par votre index Elasticsearch ou OpenSearch et les charger dans Amazon OpenSearch Service, sans avoir à créer vos propres pipelines de traitement de données.
Pour utiliser cette fonctionnalité, il vous suffit de sélectionner une fonction AWS Lambda dans l'onglet de configuration du flux de diffusion Amazon Kinesis Firehose dans la Console de gestion AWS. Amazon Kinesis Firehose applique automatiquement la fonction AWS Lambda à chaque enregistrement de données d'entrée et charge les données transformées dans votre index Amazon OpenSearch Service.
Amazon Kinesis Firehose fournit des plans Lambda pré-intégrés pouvant être utilisés sans modification ni personnalisation pour convertir des sources de données communes telles que les journaux Apache et les journaux système aux formats JSON et CSV. Vous pouvez également configurer Amazon Kinesis Firehose pour réessayer automatiquement les tâches échouées et sauvegarder les données brutes en streaming. En savoir plus »
Ingestion de données à l'aide de Logstash
Amazon OpenSearch Service peut être intégré à Logstash, un outil de traitement de données open source qui collecte des données depuis des sources, les transforme et les charge dans Elasticsearch ou OpenSearch. Vous pouvez facilement déployer Logstash sur Amazon EC2 et configurer votre domaine Amazon OpenSearch Service en tant que stockage backend pour tous les journaux transférés via votre implémentation de Logstash. Logstash prend en charge une bibliothèque de filtres pré-intégrés pour effectuer des transformations courantes telles que l'analyse de données de journal non structurées via la correspondance de modèles, le renommage, la suppression, le remplacement et la modification de champs dans vos enregistrements de données, et le regroupements de métriques. En savoir plus »
Intégration de données à l'aide d'Amazon CloudWatch Logs
Amazon CloudWatch Logs vous permet de surveiller et de dépanner vos systèmes et vos applications à l'aide de vos fichiers journaux personnalisés et de vos fichiers journaux système et d'application existants. Vous pouvez configurer un groupe de journaux CloudWatch Logs pour envoyer vos données en streaming vers votre domaine Amazon OpenSearch Service en temps quasi réel via un abonnement CloudWatch Logs. Cette intégration est pratique si vous utilisez déjà CloudWatch Logs pour collecter des données de journaux et si vous souhaitez partager ces données avec vos utilisateurs Amazon OpenSearch Service. En savoir plus »
Intégration de données à l'aide d'AWS IoT
AWS IoT est une plateforme cloud gérée qui permet aux appareils connectés d'interagir de manière simple et sécurisée avec d'autres appareils et des applications cloud. Avec AWS IoT, vous pouvez capturer les données provenant de dispositifs connectés tels que les appareils électroniques grand public, les capteurs intégrés et les décodeurs TV. Grâce à la Console de gestion AWS, vous pouvez configurer AWS IoT pour charger les données directement dans Amazon OpenSearch Service, ce qui vous permet d'offrir à vos clients un accès en temps quasi réel aux données et métriques IoT. En savoir plus »
Comment choisir le bon mécanisme d'intégration
Le choix du bon mécanisme d'ingestion dépend des exigences de votre cas d'utilisation telles que la latence des données et le type de données. Pour de grands volumes de données, nous recommandons d'utiliser Amazon Kinesis Data Firehose, un service entièrement géré qui s'adapte automatiquement au débit de vos données et ne requiert aucune administration continue. Ce service peut également transformer, compresser et traiter par lots des données avant de les charger dans le domaine Amazon OpenSearch Service. Souvent, le choix se résume également aux services que vous utilisez déjà. Par exemple, si vous collectez déjà des journaux d'application à l'aide d'Amazon CloudWatch Logs, il vous suffit de charger ces données dans votre domaine Amazon OpenSearch Service sans effort supplémentaire.
Étapes suivantes
- Démarrer sur Amazon OpenSearch Service avec l'offre gratuite AWS »
- Consulter le manuel Amazon OpenSearch Service Getting Started Guide »
OpenSearch comprend certains codes Elasticsearch sous licence Apache d'Elasticsearch B.V. et d'autres codes source. Elasticsearch B.V. n'est pas la source de cet autre code source. ELASTICSEARCH est une marque déposée d'Elasticsearch B.V.
En savoir plus sur la tarification Amazon OpenSearch Service