Qu'est-ce que l'analytique des journaux ?
Applications, serveurs, infrastructures cloud, appareils IoT et mobiles, DevOps, architectures de microservices : les plus grandes tendances commerciales et informatiques nous aident à améliorer plus que jamais les opérations et l'expérience client. Mais ces tendances ont également entraîné une croissance exponentielle des données générées par les machines, qui englobent les journaux et les métriques, comme les transactions des utilisateurs, le comportement des clients, l'activité des capteurs, le comportement des machines et les menaces de sécurité. Ces données sont complexes, mais elles sont également les plus précieuses, car elles contiennent des renseignements informatiques, commerciaux et de sécurité.
L'analytique des journaux implique la recherche, l'analytique et la visualisation des données machine générées par vos systèmes informatiques et votre infrastructure technologique afin d'obtenir des informations opérationnelles. Les outils d'analytique de données traditionnels ne sont tout simplement pas adaptés à la variété et au volume des données machine qui prolifèrent rapidement.
Pourquoi l'analytique des journaux est-elle importante ?
Le volume des données des journaux est en constante augmentation. En l'absence d'une solution globale tenant compte des coûts, ces derniers continueront à augmenter de manière incontrôlée. Les données humaines et celles générées par les machines se développent à une vitesse vertigineuse, les données générées par l'homme ayant un taux de croissance globalement limité, soit 10 fois supérieur à celui des données commerciales. Le volume des données des machines devrait encore augmenter.
Quelle est l'histoire de l'analytique des journaux ?
Depuis que nous avons commencé à créer des sauvegardes générées par ordinateur, nous avons essayé de les analyser en masse. Les enregistrements sont émis par les appareils, les applications, les réseaux (et plus encore), puis sont séquencés dans le temps sous forme de journaux. Il arrive que ces journaux ne soient pas entièrement documentés ou formés de manière cohérente à travers les applications ou les appareils, ce qui renforce l'intérêt de l'analytique des journaux.
Comment évoluera le marché de l'analytique des journaux ?
Les données du journal disparaissent rarement. Elles sont simplement stockées et exploitées différemment. À mesure que le volume augmente, nous avons besoin de méthodes toujours plus sophistiquées pour stocker ces données et en tirer parti. Le machine learning est utilisé pour trouver des modèles dans cette masse croissante de données, mais il est possible de faire beaucoup plus pour faciliter l'analytique de la sécurité, la détection des fraudes, la détection des anomalies, etc.
Quels sont les avantages de l'analytique des journaux ?
L'analytique des journaux permet de répondre à de précieuses questions d'analytique opérationnelle, comme celles énumérées ci-dessous. Imaginez que vous ayez des réponses en temps réel à ces questions :
- Mon infrastructure fonctionne-t-elle ?
- Quel est le taux de latence et d'erreur ?
- Quelle est la cause de mon problème d'application ?
- Y a-t-il une activité d'authentification suspecte ?
- Quelles données ont été consultées par cette adresse IP ?
- Y a-t-il des cas de fraude ?
- Quels sont les contenus/produits qui intéressent mes utilisateurs ?
- Quelles sont les fonctionnalités les plus ou les moins utilisées ?
- Quels utilisateurs sont les plus actifs et pourquoi ?
Pour obtenir un aperçu plus approfondi des avantages de l'analytique des journaux, reportez-vous à ce document d'Omdia.
Quels sont les défis de l'analytique des journaux ?
Quelques-uns des principaux défis que les outils d'analytique des journaux doivent relever sont les suivants :
-
L'augmentation rapide de la variété et du volume des données
- Le caractère essentiel des exigences de sécurité et de coût
- La difficulté d'ajouter des résultats en temps réel et prédictifs aux anciennes architectures
Qui utilise l'analytique des journaux ?
Les principaux utilisateurs de l'analytique des journaux sont les ingénieurs DevOps, le personnel chargé de la fiabilité des sites et les architectes d'entreprise.
À quoi sert l'analytique des journaux ?
Surveillance en temps réel des applications et des infrastructures
Enregistrez et centralisez tous les journaux et toutes les métriques de vos applications et de vos silos informatiques pour obtenir une grande visibilité de votre pile d'applications et d'infrastructures et garantir la disponibilité. Vous devez indexer les données, les rendre disponibles pour une analyse en temps réel, ce qui vous permet de visualiser les métriques de performance en temps réel.
Analyse des causes profondes
Identifiez rapidement les problèmes dans votre environnement (serveurs, code) pour réduire le temps moyen d'identification (MTTI) et le temps moyen de résolution (MTTR). Les outils de visualisation vous permettent d'effectuer des recherches parmi des millions d'événements et d'établir des corrélations entre vos applications et votre infrastructure afin de diagnostiquer rapidement l'origine du problème et d'améliorer le temps de fonctionnement.
Analytique des parcours de navigation
Bénéficiez d'une vue en temps réel des performances de votre contenu web et de l'interaction des utilisateurs avec vos applications et sites web, notamment le comportement des utilisateurs, le temps passé, le contenu populaire, etc. Vous pouvez agréger et analyser vos journaux de parcours de navigation sans effort pour mieux comprendre vos clients.
Gestion des événements et des informations de sécurité (SIEM)
Centralisez et analysez les événements générés dans l'ensemble de votre environnement, y compris les applications, les réseaux et les systèmes d'exploitation, afin d'identifier toute activité malveillante ou suspecte dans votre réseau. Vous pouvez indexer les données dès leur ingestion, ce qui vous permet d'analyser les données de plusieurs sources instantanément et de trouver et éviter les menaces plus rapidement.
Comment créer une stratégie d'analytique des journaux
Votre stratégie d'analyse des journaux doit prendre en compte l'acquisition, la transformation et l'enrichissement des données, la stratégie d'indexation et de partition, la planification de l'infrastructure, et enfin le cycle de vie des données et leur archivage. Voici les démarches générales à suivre :
-
Premièrement, vous devez identifier les mouvements de données ou l'ingestion de données. En gros, vous devez trouver une voie d'ingestion.
-
Deuxièmement, vous devez configurer la transformation des données des lignes ou des chaînes de journaux. L'analytique des journaux fonctionne souvent avec JSON -- quelque chose doit transformer les données de manière appropriée et les enrichir si nécessaire.
-
Troisièmement, vous devez élaborer une stratégie d'indexation et de partition des données. Il est essentiel de créer les index convenablement.
-
Quatrièmement, vous devez également faire un peu de planification d'infrastructure pour déterminer le type et le nombre d'instances dont vous avez besoin.
-
Enfin, pour contrôler la taille et le coût des journaux, il faut une stratégie globale pour le cycle de vie et l'archivage des données.
Où dois-je stocker mes données de journal ?
Amazon OpenSearch Service fournit divers niveaux de stockage pour vos données de journal. Vous pouvez sélectionner un niveau de stockage qui correspond aux exigences de vos requêtes (stockage à chaud, à ultra-chaud et à froid).
Quelles sont les offres d'AWS en matière d'analytique des journaux ?
Simplicité de déploiement et de gestion
Amazon OpenSearch Service simplifie la mise en place et le déploiement de votre cluster, tout en éliminant la complexité associée aux tâches de gestion comme l'approvisionnement en matériel, l'installation et l'application de correctifs logiciels, la reprise après défaillance, les sauvegardes et la surveillance, ce qui vous permet de réduire les frais d'exploitation et de vous concentrer sur les exigences commerciales essentielles.
Capacité de mise à l'échelle et fiabilité
Grâce à un stockage d'instances pouvant atteindre 3 Po dans un seul domaine, Amazon OpenSearch Service vous permet d'ajouter ou de supprimer facilement des instances sans aucun temps d'arrêt. Le service offre également un chiffrement intégré au repos et en transit, l'authentification des utilisateurs et la prise en charge de VPC, ce qui vous permet de sécuriser vos données.
Intégration facile aux autres services AWS
Amazon OpenSearch Service offre des intégrations incorporées avec d'autres services AWS comme Kinesis Data Firehose, Managed Streaming for Kafka, IoT, CloudWatch Logs, KMS, Cognito et IAM, pour vous permettre d'ingérer, d'analyser et de visualiser en toute sécurité des données provenant de toutes les sources.
Des coûts moindres
Avec Amazon OpenSearch Service, vous payez uniquement en fonction de votre consommation. Il n'y a pas de frais initiaux ni de condition d'utilisation. Avec la surveillance 24 h/24, 7 j/7 et AWS Support, vous n'avez pas besoin d'une équipe d'experts Elasticsearch pour changer d'échelle, sécuriser et surveiller votre infrastructure, ce qui entraîne une réduction du coût total des opérations.
Comment fonctionne l'analytique des journaux avec AWS ?
Avec AWS, vous pouvez créer différentes solutions pour consolider, surveiller et analyser efficacement vos données de journal. Ces solutions vous offrent une vue simplifiée de vos applications, systèmes et informations de journal AWS pour une intelligence opérationnelle en temps réel.
Journalisation centralisée à l'aide d'Amazon OpenSearch Service
La combinaison de cette solution avec d'autres services AWS à technologie Amazon OpenSearch Service vous offre un environnement clé en main hautement disponible pour commencer rapidement à journaliser et à analyser votre environnement et vos applications AWS. Démarrer avec Amazon OpenSearch Service »
Le schéma ci-dessous présente l'architecture de journalisation centralisée. Pour en savoir plus, lisez la présentation de la solution de journalisation centralisée.
Surveillance en temps réel à l'aide d'Amazon Kinesis
Cette solution, qui utilise Amazon Kinesis avec AWS CloudTrail et Amazon CloudWatch, vous permet de construire une solution sans serveur pour surveiller vos applications en temps réel. Démarrer avec Amazon Kinesis »
Le schéma ci-dessous présente l'architecture de surveillance des applications en temps réel. Pour en savoir plus, suivez ce tutoriel pratique.
Comment les clients mettent-ils en œuvre l'analytique des journaux ?
Surveillance en temps réel des applications et des infrastructures
Enregistrez et centralisez tous les journaux et toutes les métriques de vos applications et de vos silos informatiques pour obtenir une grande visibilité de votre pile d'applications et d'infrastructures et garantir la disponibilité. Amazon OpenSearch Service indexe les données, les rend disponibles pour une analyse en temps réel et vous permet de visualiser les métriques de performance en temps réel à l'aide de tableaux de bord Kibana.
Le groupe Expedia, l'une des principales sociétés de voyage au monde, utilise Amazon OpenSearch Service pour la surveillance des applications. Amazon OpenSearch Service permet à Expedia de surveiller d'énormes volumes de journaux Docker de manière rentable, d'identifier et résoudre des problèmes en temps réel pour prendre en charge des sources de journaux supplémentaires et de décharger les frais généraux opérationnels. En savoir plus »
Analyse des causes profondes
Identifiez rapidement les problèmes dans votre environnement (serveurs, code) pour réduire le temps moyen d'identification (MTTI) et le temps moyen de résolution (MTTR). Grâce à Kibana intégré, Amazon OpenSearch Service vous permet d'effectuer des recherches dans des millions d'événements et d'établir des corrélations entre vos applications et votre infrastructure afin de diagnostiquer rapidement l'origine du problème et d'améliorer le temps de fonctionnement.
Autodesk, l'un des principaux fournisseurs de logiciels de conception et d'ingénierie 3D, utilise les services AWS, notamment Amazon OpenSearch Service, Amazon Kinesis Data Firehose et Amazon Kinesis Data Analytics, pour mettre en place une solution de journalisation unifiée rentable afin de trouver et de résoudre plus rapidement les problèmes d'application et d'améliorer l'expérience client. En savoir plus »
Analytique des parcours de navigation
Bénéficiez d'une vue en temps réel des performances de votre contenu web et de l'interaction des utilisateurs avec vos applications et sites web, notamment le comportement des utilisateurs, le temps passé, le contenu populaire, etc. Amazon OpenSearch Service et Amazon Kinesis Data Firehose ou Amazon Managed Streaming for Kafka vous permettent de regrouper et d'analyser sans effort vos journaux de parcours de navigation pour mieux comprendre vos clients.
Hearst Corporation, une grande entreprise médiatique, a créé une plateforme d'analytique des parcours de navigation à l'aide d'Amazon OpenSearch Service, d'Amazon Kinesis Streams et d'Amazon Kinesis Firehose pour transmettre et traiter 30 téraoctets de données par jour. Grâce à cette plateforme, Hearst peut mettre à la disposition des éditeurs et en quelques minutes l'ensemble du flux de données, des clics effectués sur les sites web aux données regroupées. En savoir plus »
Gestion des événements et des informations de sécurité (SIEM)
Centralisez et analysez les événements générés dans l'ensemble de votre environnement, y compris les applications, les réseaux et les systèmes d'exploitation, afin d'identifier toute activité malveillante ou suspecte dans votre réseau. Amazon OpenSearch Service vous permet d'indexer les données dès leur ingestion, ce qui vous permet d'analyser les données de plusieurs sources instantanément et de trouver et éviter les menaces plus rapidement.
Prochaines étapes de l'analytique de journaux AWS
Reportez-vous aux ressources recommandées suivantes :
- Démarrer votre essai gratuit d'Amazon OpenSearch Service
- Participez à l'atelier « Comment créer une solution d'analytique des journaux »
- Vous pouvez également vous lancer gratuitement en utilisant l'offre gratuite d'Amazon OpenSearch Service. Utilisez jusqu'à 750 heures par mois sur les instances t2 et t3 small.search avec l'offre gratuite d'AWS.