Mit Amazon OpenSearch Service in AWS in 20 Minuten eine zentralisierte Protokollanalytikplattform erstellen
Übersicht
Die zentralisierte Protokollierung mit OpenSearch hilft Unternehmen dabei, Protokolldaten aus verschiedenen Quellen mithilfe von Amazon OpenSearch Service zu erfassen, aufzunehmen und zu visualisieren. Diese AWS-Lösung bietet eine webbasierte Konsole, mit der Sie mit wenigen Klicks Protokollaufnahme-Pipelines erstellen können. Zu den Protokollaufnahme-Pipelines gehören die Bereitstellung von Agents für die Protokollerfassung, die Protokollanreicherung ohne das Schreiben von Codes, die Erstellung von Pufferschichten und die OpenSearch-Indexkonfiguration. Nachdem die Protokolle in OpenSearch Service gespeichert wurden, generiert die Lösung automatisch sofort einsatzbereite Dashboards zur Analyse von AWS-Serviceprotokollen und Anwendungsprotokollen in verschiedenen Formaten (z. B. Nginx, JSON und Spring Boot). In Kombination mit anderen AWS-Services bietet Ihnen diese Lösung eine schlüsselfertige Umgebung, mit der Sie mit der Protokollierung und Überwachung Ihrer AWS-Anwendungen beginnen können.
Neuerungen
- Unterstützung für die Installation, Konfiguration und Überwachung des Fluent-Bit-Agenten auf Windows-Server-2016/2019/2022-Instances hinzugefügt.
- Eine Vorlage zur Protokollvisualisierung für Windows-IIS-Protokolle (W3C-Format) wurde hinzugefügt.
- Unterstützung für acht weitere AWS-Regionen wurde hinzugefügt.
Weitere neue Features finden Sie auf der Seite Revisionen.
Vorteile
Verwenden Sie eine Webkonsole von Ihrem AWS-Konto aus, um sowohl Anwendungs- als auch AWS-Serviceprotokolle aufzunehmen, und analysieren Sie die Protokolle anschließend mit Visualisierungs-Dashboards.
Serverless-Technologien mit integrierter Hochverfügbarkeit und einem nutzungsabhängigen Abrechnungsmodell reduzieren den Bedarf an Infrastrukturverwaltung, sodass Sie sich mehr auf die Erstellung von Protokollanalysen für Ihr Unternehmen konzentrieren können.
Die Lösung ist Open-Source und für die kommerzielle Nutzung kostenlos. Sie zahlen nur für die AWS-Nutzung. Sie können den Quellcode als Referenz verwenden, um Ihre eigene Implementierung zu erstellen, die Ihren Anforderungen entspricht.
Technische Details
Sie können diese Architektur mithilfe des Implementierungsleitfadens und der AWS-CloudFormation-Vorlagen für AWS-Regionen oder AWS-Regionen in China automatisch bereitstellen.
Schritt 1
Amazon CloudFront verteilt die Elemente der Frontend-Web-Benutzeroberfläche (UI), die in einem Amazon Simple Storage Service (Amazon S3)-Bucket gehostet werden.
Schritt 2
Der Amazon-Cognito-Benutzerpool oder OpenID Connector (OIDC) können für die Authentifizierung verwendet werden.
Schritt 3
AWS AppSync stellt die Backend-GraphQL-APIs bereit.
Schritt 4
Amazon DynamoDB speichert die lösungsbezogenen Informationen als Backend-Datenbank.
Schritt 5
AWS Lambda interagiert mit anderen AWS-Services, um die Kernlogik der Verwaltung von Protokoll-Pipelines oder Protokoll-Agenten zu verarbeiten, und ruft in DynamoDB-Tabellen aktualisierte Informationen ab.
Schritt 6
AWS Step Functions orchestriert die On-Demand-Bereitstellung von CloudFormation einer Reihe vordefinierter Stacks für die Verwaltung der Protokoll-Pipelines. Die Protokoll-Pipeline-Stacks stellen separate AWS-Ressourcen bereit und werden verwendet, um Protokolle zu erfassen und zu verarbeiten und sie zur weiteren Analyse und Visualisierung in Amazon OpenSearch Service aufzunehmen.
Schritt 7
Die Serviceprotokoll-Pipeline oder die Anwendungsprotokoll-Pipeline werden auf Anfrage über die zentrale Protokollierung mit der OpenSearch-Konsole bereitgestellt.
Schritt 8
AWS Systems Manager und Amazon EventBridge verwalten Protokollagenten für die Erfassung von Protokollen von Anwendungsservern, z. B. die Installation von Protokoll-Agenten (Fluent Bit) für Anwendungsserver und die Überwachung des Integritätsstatus der Agenten.
Schritt 9
Amazon Elastic Compute Cloud (Amazon EC2) oder Amazon Elastic Kubernetes Service (Amazon EKS) installieren Fluent-Bit-Agenten und laden Protokolldaten in die Anwendungsprotokollpipeline hoch.
Schritt 10
Anwendungsprotokoll-Pipelines lesen, parsen und verarbeiten Anwendungsprotokolle und nehmen sie in OpenSearch-Service-Domains oder Light Engine auf.
Schritt 11
Serviceprotokoll-Pipelines lesen, parsen und verarbeiten AWS-Serviceprotokolle und nehmen sie in OpenSearch-Service-Domains oder Light Engine auf.
Schritt 1
Amazon CloudFront verteilt die Elemente der Frontend-Web-Benutzeroberfläche (UI), die in einem Amazon Simple Storage Service (Amazon S3)-Bucket gehostet werden.
Schritt 2
Der Amazon-Cognito-Benutzerpool oder OpenID Connector (OIDC) können für die Authentifizierung verwendet werden.
Schritt 3
AWS AppSync stellt die Backend-GraphQL-APIs bereit.
Schritt 4
Amazon DynamoDB speichert die lösungsbezogenen Informationen als Backend-Datenbank.
Schritt 5
AWS Lambda interagiert mit anderen AWS-Services, um die Kernlogik der Verwaltung von Protokoll-Pipelines oder Protokoll-Agenten zu verarbeiten, und ruft in DynamoDB-Tabellen aktualisierte Informationen ab.
Schritt 6
AWS Step Functions orchestriert die On-Demand-Bereitstellung von CloudFormation einer Reihe vordefinierter Stacks für die Verwaltung der Protokoll-Pipelines. Die Protokoll-Pipeline-Stacks stellen separate AWS-Ressourcen bereit und werden verwendet, um Protokolle zu erfassen und zu verarbeiten und sie zur weiteren Analyse und Visualisierung in Amazon OpenSearch Service aufzunehmen.
Schritt 7
Die Serviceprotokoll-Pipeline oder die Anwendungsprotokoll-Pipeline werden auf Anfrage über die zentrale Protokollierung mit der OpenSearch-Konsole bereitgestellt.
Schritt 8
AWS Systems Manager und Amazon EventBridge verwalten Protokollagenten für die Erfassung von Protokollen von Anwendungsservern, z. B. die Installation von Protokoll-Agenten (Fluent Bit) für Anwendungsserver und die Überwachung des Integritätsstatus der Agenten.
Schritt 9
Amazon Elastic Compute Cloud (Amazon EC2) oder Amazon Elastic Kubernetes Service (Amazon EKS) installieren Fluent-Bit-Agenten und laden Protokolldaten in die Anwendungsprotokollpipeline hoch.
Schritt 10
Anwendungsprotokoll-Pipelines lesen, parsen und verarbeiten Anwendungsprotokolle und nehmen sie in OpenSearch-Service-Domains oder Light Engine auf.
Schritt 11
Serviceprotokoll-Pipelines lesen, parsen und verarbeiten AWS-Serviceprotokolle und nehmen sie in OpenSearch-Service-Domains oder Light Engine auf.
Ähnliche Inhalte
Dieses Bild zeigt eine Vorschau der Webkonsole für zentralisierte Protokollierung mit OpenSearch.
Dieser Blog beschreibt eine Amazon-CloudWatch-Funktion zum Suchen, Analysieren und Korrelieren von kontoübergreifenden Telemetriedaten, die in CloudWatch gespeichert sind, wie Metriken, Protokolle und Traces.
- Datum der Veröffentlichung
Mit einer vorhandenen VPC in AWS-Regionen starten
Mit einer neuen VPC in den AWS-Regionen in China starten
Mit einer bestehenden VPC in den Regionen in China starten