Qu'est-ce que la suite ELK ?
La suite ELK est un acronyme utilisé pour décrire une suite qui comprend trois projets populaires : Elasticsearch, Logstash et Kibana. Souvent appelée Elasticsearch, la suite ELK vous permet d'agréger les journaux de tous vos systèmes et applications, de les analyser, et de créer des visualisations pour la surveillance des applications et de l'infrastructure, un dépannage plus rapide, l'analytique de la sécurité, etc.
E = Elasticsearch
Elasticsearch est un moteur de recherche et d'analytique distribué basé sur Apache Lucene. La prise en charge de plusieurs langages, les performances élevées et les documents JSON sans schéma font d'Elasticsearch un choix idéal pour divers cas d'utilisation dans l'analytique des journaux et la recherche.
Pour plus d'informations, consultez la section Qu'est-ce qu'Elasticsearch ?
Le 21 janvier 2021, Elastic NV a annoncé vouloir changer sa stratégie de licences logicielles et qu'il n'y aurait pas de nouvelles versions d'Elasticsearch et de Kibana sous licence permissive Apache Version 2.0 (ALv2). Au lieu de cela, les nouvelles versions du logiciel seront proposées sous la licence Elastic, le code source étant disponible sous licence Elastic ou SSPL. Ces licences ne sont pas open source et n'offrent pas les mêmes libertés aux utilisateurs. Pour bénéficier d'une pile de recherche et d'analytique sécurisée, de haute qualité et entièrement open source, vous pouvez utiliser le projet OpenSearch, un fork des logiciels open source Elasticsearch et Kibana sous licence ALv2 et géré par la communauté.
L = Logstash
Logstash est un outil open source d'ingestion de données qui vous permet de collecter des données provenant de diverses sources, de les transformer et de les envoyer à la destination souhaitée. Grâce à des filtres prédéfinis et à la prise en charge de plus de 200 plugins, Logstash permet aux utilisateurs d'ingérer facilement des données, indépendamment de leur source ou de leur type.
Logstash est un pipeline open source léger de traitement des données côté serveur qui vous permet de collecter des données provenant de diverses sources, de les transformer à la volée et de les envoyer vers la destination souhaitée. Il est le plus souvent utilisé comme pipeline de données pour Elasticsearch, un moteur open source d'analyse et de recherche. En raison de son intégration étroite avec Elasticsearch, de ses puissantes capacités de traitement des journaux et de plus de 200 plugins open source pré-intégrés qui peuvent vous aider à indexer facilement vos données, Logstash est un choix populaire pour charger des données dans Elasticsearch.
Chargement facile de données non structurées
Logstash vous permet d'ingérer facilement des données non structurées provenant de diverses sources de données, dont des journaux système, des journaux de sites Web et des journaux de serveurs d'applications.
Filtres pré-intégrés
Logstash propose des filtres pré-intégrés qui vous permettent de transformer facilement les types de données les plus courants, de les indexer dans Elasticsearch et de lancer des requêtes sans avoir à créer des pipelines de transformation de données personnalisés.
Architecture de plugin flexible
Avec plus de 200 plugins déjà disponibles sur GitHub, il est probable que quelqu'un ait déjà construit celui dont vous avez besoin pour personnaliser votre pipeline de données. Mais si aucun ne répond à vos besoins, vous pouvez facilement en créer un vous-même.
K = Kibana
Kibana est un outil de visualisation et d'exploration des données, utilisé pour l'analytique des journaux et des séries chronologiques, la surveillance des applications et l'intelligence opérationnelle. Il offre des fonctionnalités puissantes et faciles à utiliser telles que des histogrammes, des graphiques linéaires, des camemberts, des cartes thermiques et un support géospatial intégré. Il fournit également une intégration étroite avec Elasticsearch, un moteur d'analytique et de recherche populaire, ce qui fait de Kibana le choix par défaut pour la visualisation des données stockées dans Elasticsearch.
Le 21 janvier 2021, Elastic NV a annoncé vouloir changer sa stratégie de licences logicielles et qu'il n'y aurait pas de nouvelles versions d'Elasticsearch et de Kibana sous licence permissive Apache Version 2.0 (ALv2). Au lieu de cela, les nouvelles versions du logiciel seront proposées sous la licence Elastic, le code source étant disponible sous licence Elastic ou SSPL. Ces licences ne sont pas open source et n'offrent pas les mêmes libertés aux utilisateurs. Pour garantir que la communauté open source et nos clients continuent de disposer d'une suite de recherche et d'analytique sécurisée, de haute qualité et entièrement open source, nous avons lancé le projet OpenSearch, un fork des logiciels open source Elasticsearch et Kibana sous licence ALv2 et dirigé par la communauté. La suite OpenSearch se compose d'un moteur de recherche, OpenSearch, et d'une interface de visualisation et d'utilisation, OpenSearch Dashboards.
Vous pouvez exécuter Kibana sur site, sur Amazon Elastic Compute Cloud (Amazon EC2) ou sur les versions sous licence Apache 2.0 (jusqu'à la version 7.10.2) d'Amazon OpenSearch Service. OpenSearch Dashboards est une alternative open source à Kibana, et est également disponible en auto-gestion. Il est dérivé de la dernière version open source de Kibana (7.10.2). Il contient de nombreuses avancées et est bien pris en charge par le projet OpenSearch. Avec les déploiements sur site ou sur Amazon EC2, vous êtes responsable de l'approvisionnement de l'infrastructure, de l'installation des logiciels Kibana ou OpenSearch Dashboards et de la gestion de l'infrastructure. Avec OpenSearch Service, Kibana ou OpenSearch Dashboards sont déployés automatiquement avec votre domaine en tant que service entièrement géré, prenant automatiquement en charge toutes les tâches fastidieuses de gestion du cluster.
Tableaux interactifs
Kibana propose des graphiques et des rapports intuitifs que vous pouvez utiliser pour naviguer de manière interactive dans de grandes quantités de données de journal. Vous pouvez faire glisser dynamiquement les fenêtres temporelles, effectuer des zooms avant et arrière sur des sous-ensembles de données spécifiques, et explorer les rapports pour extraire des informations exploitables de vos données.
Prise en charge du mappage
Kibana est doté de puissantes fonctionnalités géospatiales qui vous permettent de superposer de manière transparente des informations géographiques à vos données et de visualiser les résultats sur des cartes.
Agrégations et filtres pré-intégrés
Grâce aux agrégations et aux filtres pré-intégrés de Kibana, vous pouvez exécuter diverses analytiques telles que des histogrammes, des requêtes « top N » et des tendances en seulement quelques étapes.
Tableaux de bord faciles d'accès
Vous pouvez facilement configurer des tableaux de bord et des rapports et les partager avec d'autres personnes. Vous n'avez besoin que d'un navigateur pour afficher et explorer les données.
Comment la suite ELK fonctionne-t-elle ?
- Logstash ingère, transforme et envoie les données à la bonne destination.
- Elasticsearch indexe, analyse et recherche les données ingérées.
- Kibana visualise les résultats de l'analyse.
Que fait la suite ELK ?
La suite ELK sert à résoudre un large éventail de problèmes, notamment l'analytique des journaux, la recherche de documents, la gestion des informations et des événements de sécurité (SIEM) et l'observabilité. Elle fournit le moteur de recherche et d'analytique, assure l'ingestion des données et la visualisation.
Pourquoi la suite ELK est-elle si importante ?
La suite ELK répond à un besoin dans le domaine de l'analytique des journaux. À mesure que votre infrastructure informatique migre vers des cloud publics, vous avez besoin d'une solution de gestion et d'analytique des journaux pour surveiller cette infrastructure et traiter tous les journaux de serveur, les journaux d'application et les flux de clics. La suite ELK fournit une solution d'analyse des journaux simple mais robuste, qui permet à vos développeurs et ingénieurs DevOps d'obtenir des informations précieuses sur le diagnostic des pannes, les performances des applications et la surveillance de l'infrastructure, tout ceci pour une fraction du prix normal.
Comment choisir la bonne solution pour la suite ELK ?
Chez AWS, vous pouvez choisir de déployer et de gérer vous-même la suite ELK sur EC2. Cependant, l'option d'autogestion ne permet pas facilement de faire évoluer le système en fonction des besoins de l'entreprise ou de garantir la sécurité et la conformité. Si vous préférez que vos développeurs ou ingénieurs DevOps consacrent leur temps à créer des applications innovantes ou à gérer des tâches opérationnelles telles que le déploiement, les mises à niveau, l'installation des logiciels et l'application des correctifs, les sauvegardes et la surveillance, OpenSearch Service est une alternative open source entièrement gérée qui facilite le déploiement, l'exploitation et la mise à l'échelle des clusters OpenSearch de manière sécurisée et rentable sur AWS.
Quelles offres AWS prennent en charge votre suite ELK ?
OpenSearch Service prend en charge plusieurs versions d'Elasticsearch sous licence Apache 2.0 (versions 1.5 à 7.10) et de Kibana (versions 1.5 à 7.10). OpenSearch Service prend également en charge l'intégration avec Logstash pour collecter et transformer les données provenant de vos sources, puis les charger dans le service.
Quels sont les outils d'ingestion proposés par AWS ?
AWS possède de nombreux outils d'ingestion de données comme Amazon Kinesis Data Firehose, Amazon CloudWatch Logs et AWS IoT pour vous donner la flexibilité de sélectionner l'outil d'ingestion de données qui répond aux besoins de votre cas d'utilisation. Pour en savoir plus, reportez-vous à la section Intégrations Amazon OpenSearch Service.
OpenSearch comprend certains codes Elasticsearch sous licence Apache d'Elasticsearch B.V. et d'autres codes source. Elasticsearch B.V. n'est pas la source de cet autre code source. ELASTICSEARCH est une marque déposée d'Elasticsearch B.V.
Prochaines étapes avec AWS
Commencez à créer avec le cloud hybride AWS dans la console de gestion AWS.