Funktionen von Amazon MSK

Mit nur wenigen Klicks in der Konsole können Sie einen vollständig verwalteten Apache-Kafka-Cluster erstellen, der den bewährten Bereitstellungsmethoden von Apache Kafka folgt, oder einen eigenen Cluster mit einer benutzerdefinierten Konfiguration verwenden. Sobald Sie die gewünschte Konfiguration erstellt haben, stellt Amazon MSK Ihren Apache-Kafka-Cluster automatisch bereit, konfiguriert und verwaltet diesen.

Apache Kafka verwendet entweder KRaft (Apache Kafka Raft) oder Apache ZooKeeper zur Metadatenverwaltung. Mit Amazon MSK können Sie Cluster in beiden Modi auf unterstützten Apache-Kafka-Versionen erstellen. Amazon MSK verwaltet diese zusätzlichen Metadatenknoten auch ohne zusätzliche Kosten für Sie.

MSK Serverless ist ein Clustertyp für Amazon MSK, der den Betrieb von Apache-Kafka-Clustern erleichtert, da keine Rechen- und Speicherkapazität verwaltet werden muss. MSK Serverless stellt automatisch Ressourcen bereit, skaliert sie und verwaltet gleichzeitig Apache-Kafka-Partitionen. Sie können also Daten streamen, ohne sich um die richtige Größe oder Skalierung von Clustern kümmern zu müssen.

Alle Cluster werden über mehrere AZs (drei sind Standard) verteilt, werden durch die Service-Level-Vereinbarung von Amazon MSK unterstützt und sowie durch automatisierte Systeme, die Probleme innerhalb der Cluster-Infrastruktur und der Apache-Kafka-Software erkennen und darauf reagieren. Wenn eine Komponente ausfällt, ersetzt Amazon MSK sie automatisch und ohne Ausfallzeiten für Ihre Anwendungen. Amazon MSK verwaltet die Verfügbarkeit Ihrer Apache-ZooKeeper- oder KRaft-Controller-Knoten, so dass Sie die Knoten nicht selbst starten, anhalten oder direkt darauf zugreifen müssen. Es stellt bei Bedarf außerdem automatische Software-Patches bereit, um Ihren Cluster auf dem neuesten Stand zu halten und einen reibungslosen Betrieb zu gewährleisten.

MSK Replicator ist ein Feature von Amazon MSK, mit der Sie Daten mit nur wenigen Klicks zuverlässig über Amazon MSK-Cluster hinweg replizieren können, ohne dass Sie Fachwissen für die Einrichtung von Open-Source-Tools, das Schreiben von Code oder die Verwaltung der Infrastruktur benötigen. MSK Replicator stellt die zugrunde liegenden Ressourcen automatisch bereit und skaliert sie, sodass Sie Daten bei Bedarf replizieren können und nur für das bezahlen, was Sie tatsächlich nutzen. Mit MSK Replicator können Sie hochverfügbare und fehlertolerante Anwendungen für mehrere Regionen erstellen, um die Ausfallsicherheit zu erhöhen. Sie können MSK Replicator auch verwenden, um Datenzugriff mit niedrigerer Latenz in verschiedenen geografischen Regionen bereitzustellen oder Daten an Ihre Partner zu verteilen.

Ihre Apache-Kafka-Cluster werden in einer Amazon Virtual Private Cloud (VPC) ausgeführt, die von Amazon MSK verwaltet wird. Kafka-Clients in Ihrer eigenen Amazon VPC können über eine kontoübergreifende elastische Netzwerkschnittstelle, die Amazon MSK in Ihrer VPC bereitstellt, privat auf den Cluster zugreifen. Wenn Ihre Kafka-Clients auf eine oder mehrere VPCs oder AWS-Konten verteilt sind, können Sie mithilfe der Funktion für private Verbindungen mit mehreren VPCs trotzdem eine private Verbindung zu Ihrem Cluster herstellen. Diese Funktion macht den operativen Aufwand für die Selbstverwaltung einer PrivateLink-Lösung überflüssig und lässt sich nahtlos skalieren, wenn der Amazon-MSK-Cluster skaliert, sodass Sie die private Konnektivität zum Cluster aufrechterhalten können, ohne zusätzliche Konfigurationsänderungen vornehmen zu müssen. Private Konnektivität mit mehreren VPCs beseitigt auch die Probleme bei der Verwaltung nicht überlappender IPs und komplexer Peering- und Routing-Tabellen, die mit anderen VPC-Konnektivitätslösungen verbunden sind, da sie überlappende IPs zwischen den verbundenen VPCs ermöglicht.

Verwenden Sie eine Cluster-Richtlinie für Ihren Amazon-MSK-Cluster, um zu definieren, welche IAM-Prinzipale über kontoübergreifende Berechtigungen verfügen, private Verbindungen zu Ihrem Amazon-MSK-Cluster einzurichten. Bei Verwendung mit der IAM-Client-Authentifizierung können Sie die Cluster-Richtlinie auch verwenden, um die Kafka-Berechtigungen auf Datenebene für die verbundenen Clients differenziert zu definieren.

IAM Access Control ist eine kostenlose Sicherheitsoption, die die Cluster-Authentifizierung und die Apache-Kafka-API-Autorisierung vereinfacht, indem sie IAM-Rollen oder Benutzerrichtlinien zur Zugriffskontrolle verwendet. Beim Einsatz von IAM Access Control müssen Sie keine eigenen Zugriffsverwaltungssysteme mehr entwickeln und betreiben, um die Client-Authentifizierung und -Autorisierung für Apache Kafka zu steuern. Ihre Cluster sind standardmäßig durch Berechtigungen gesichert, die dem Least-Privilege-Prinzip entsprechen. Für bereitgestellte Cluster können Sie auch Simple Authentication and Security Layer (SASL) / Salted Challenge Response Authentication Mechanism (SCRAM) oder gegenseitige Transport Layer Security (TLS)-Authentifizierung mit Apache-Kafka-Zugangskontrolllisten (ACLs) verwenden, um den Client-Zugriff zu steuern.

Amazon MSK verschlüsselt Ihre Daten im Ruhezustand ohne spezielle Konfiguration oder Tools von Drittanbietern. Bei bereitgestellten Clustern können alle Daten im Ruhezustand verschlüsselt werden, wobei standardmäßig der Schlüssel von AWS Key Management Service (KMS) oder Ihr eigener Schlüssel verwendet wird. Sie können auch Daten, die über TLS zwischen Brokern und zwischen Clients und Brokern in Ihrem Cluster übertragen werden, verschlüsseln. Bei Serverless-Clustern werden alle Daten im Ruhezustand standardmäßig mit vom Service verwalteten Schlüsseln verschlüsselt und alle Daten bei der Übertragung werden standardmäßig über TLS verschlüsselt.

Amazon MSK bietet die Option, über das Internet eine sichere Verbindung mit den Brokern von Amazon-MSK-Clustern herzustellen, auf denen Apache Kafka 2.6.0 oder höher ausgeführt wird. Durch die Aktivierung des öffentlichen Zugriffs können autorisierte Clients außerhalb einer privaten Amazon Virtual Private Cloud (VPC) verschlüsselte Daten in und aus bestimmten Amazon-MSK-Clustern streamen.

Verwenden Sie eine Cluster-Richtlinie für Ihren Amazon-MSK-Cluster, um zu definieren, welche kontoübergreifenden IAM-Prinzipale berechtigt sind, eine kontoübergreifende private Verbindung zu Ihrem Amazon-MSK-Cluster einzurichten. Bei Verwendung mit der IAM-Client-Authentifizierung können Sie die Cluster-Richtlinie auch verwenden, um die Kafka-Berechtigungen auf Datenebene für die verbundenen Clients differenziert zu definieren.

Kein anderer Anbieter bietet die Breite und Tiefe der AWS-Integrationen in Amazon MSK. Diese Integrationen umfassen:

• AWS IAM für Apache Kafka und API-Zugriffskontrolle auf Dienstleistungsebene
• Amazon Kinesis Data Analytics zur Ausführung vollständig verwalteter Apache-Flink-Anwendungen zur Verarbeitung von Streaming-Daten in Apache Kafka
• Amazon Managed Service für Apache Flink Studio zur Ausführung von interaktivem Streaming SQL und langlaufenden SQL-Aufträgen mit Apache FlinkSQL
• AWS Glue Schema Registry zur zentralen Steuerung und Entwicklung von Schemata
• AWS IoT Core für IoT-Ereignis-Streaming in MSK
• AWS Database Migration Service (AWS DMS) für die Erfassung und Analytik von Änderungsdaten
• Amazon Virtual Private Cloud (Amazon VPC) für private Client-Konnektivität und Netzwerkisolierung
• AWS Key Management Service (AWS KMS) zur Verschlüsselung im Ruhezustand.
• AWS Certificate Manager Private Certificate Authority für die gegenseitige TLS-Client-Authentifizierung
• AWS Secrets Manager für die sichere Speicherung und Verwaltung von SASL/SCRAM-Geheimnissen
• AWS CloudFormation zum Bereitstellen von Amazon MSK in Code
• Amazon CloudWatch für Metriken auf Cluster-, Broker-, Themen-, Verbraucher- und Partitionsebene
  

Amazon MSK unterstützt die Bereitstellung nativer Versionen von Apache Kafka, sodass Anwendungen und Tools, die für Apache Kafka entwickelt wurden, ohne Änderungen am Anwendungscode sofort mit Amazon MSK funktionieren.

Amazon MSK stellt neuere Versionen von Apache Kafka normalerweise innerhalb von sieben Tagen nach der öffentlichen Verfügbarkeit zur Verfügung.

Sie können Apache Kafka-Versionen für Amazon MSK-Cluster mit nur wenigen Klicks upgraden. So können Sie entscheiden, wann Sie die Funktionen und Fehlerbehebungen in neuen Apache Kafka-Versionen profitieren. Amazon MSK automatisiert die Bereitstellung von Versions-Upgrades auf laufenden Clustern, um die I/O-Verfügbarkeit der Clients für Kunden zu erhalten, die bewährte Methoden anwenden. Bei Serverless-Clustern werden die Apache-Kafka-Versionen automatisch von Amazon MSK aktualisiert.

Mit Amazon MSK können Sie für weniger als 2,00 USD pro Tag beginnen. Kunden zahlen in der Regel zwischen 0,05 und 0,07 USD pro aufgenommenem GB, was 1/13 der Kosten anderer verwalteter Anbieter sein kann. Weitere Informationen zur Preisgestaltung finden Sie auf der Preisseite zu Amazon MSK.

Mit gestaffelter Speicherung können Sie praktisch unbegrenzt Daten in MSK speichern, ohne dass Sie Speicherkapazität bereitstellen und verwalten müssen. Sie können mit wenigen Klicks für neue oder bestehende Cluster gestaffelte Speicherung aktivieren und für die Nutzung bezahlen. Sie können Daten zunächst in einer leistungsoptimierten primären Speicherebene speichern und MSK die Daten automatisch in die neue, kostengünstigere Ebene schichten lassen, um sie länger aufzubewahren. Die Funktion wird in allen AWS-Regionen unterstützt, in denen MSK verfügbar ist. Um zu erfahren, wie Sie gestaffelte Speicherung beginnen können, besuchen Sie unser Amazon MSK-Entwicklerhandbuch.

Sie können die Größe Ihrer Amazon-MSK-Cluster anpassen, indem Sie die Größe oder Familie Ihrer Apache-Kafka-Broker in Minutenschnelle und ohne Ausfallzeiten ändern. Das Ändern der Größe oder der Familie ist eine beliebte Methode zur Skalierung von Amazon-MSK-Clustern und gibt Ihnen die Flexibilität, die Datenverarbeitungskapazität des Clusters an Änderungen Ihrer Workloads anzupassen. Diese Methode ist vorzuziehen, da sie keine Neuzuweisung von Partitionen, was die Verfügbarkeit von Apache Kafka beeinträchtigen könnte, erfordert.

Amazon MSK skaliert die Rechen- und Speicherressourcen Ihres Clusters automatisch entsprechend den Durchsatzanforderungen Ihrer Anwendung.

Amazon MSK ist mit Cruise Control integriert, einem beliebten Open-Source-Tool für Apache Kafka, das die Partitionszuweisung automatisch in Ihrem Namen verwaltet. Bei Serverless Clustern verwaltet Amazon MSK die Partitionszuweisungen automatisch für Sie.

Sie können die Menge des bereitgestellten Speichers pro Broker nahtlos hochskalieren, um Änderungen des Speicherbedarfs über die AWS.Managementkonsole oder die AWS Command Line Interface (AWS CLI) zu berücksichtigen. Sie können auch eine Richtlinie zur automatischen Skalierung erstellen, um den Speicherplatz automatisch zu erweitern, wenn die Streaming-Anforderungen steigen.

Amazon MSK stellt standardmäßig eine Cluster-Konfiguration mit bewährten Methoden für Apache Kafka bereit. Bei bereitgestellten Clustern haben Sie die Möglichkeit, mehr als 30 verschiedene Clusterkonfigurationen einzustellen, wobei alle dynamischen und themenbezogenen Konfigurationen unterstützt werden. Weitere Informationen finden Sie unter Benutzerdefinierte MSK-Konfigurationen in der Dokumentation.

Mit Amazon CloudWatch können Sie wichtige Metriken visualisieren und überwachen, um die Leistung von Streaming-Anwendungen zu verstehen und zu erhalten.

Mit Open Monitoring mit Prometheus können Sie Amazon MSK mit Lösungen wie Datadog, Lenses, New Relic, Sumo logic oder einem Prometheus-Server überwachen und Ihre vorhandenen Überwachungs-Dashboards einfach auf Amazon MSK migrieren. Weitere Informationen finden Sie unter Offene Überwachung mit Prometheus in der Dokumentation.