Amazon-DynamoDB-Integrationen

Warum Amazon DynamoDB?

Mit Amazon DynamoDB können Sie Ihre Workloads ganz einfach in Amazon DynamoDB Accelerator (DAX) integrieren, um eine bis zu 10-fache Leistungssteigerung zu erzielen, und in Amazon OpenSearch Service für Such- und Analysefunktionen in Echtzeit sowie einer Vielzahl anderer AWS-Services. DynamoDB bietet Ihnen die Flexibilität, eine breite Palette von AWS-Services zu integrieren, die Ihren Anwendungsfallanforderungen entsprechen.

Amazon DynamoDB Accelerator

Amazon DynamoDB Accelerator (DAX) ist ein vollständig verwalteter, hochverfügbarer Caching-Service, der für Amazon DynamoDB entwickelt wurde. DAX bietet eine bis zu zehnfache Leistungssteigerung, von Millisekunden auf Mikrosekunden, selbst bei Millionen von Anforderungen pro Sekunde. DAX verwaltet die gesamte Cache-Invalidierung und Datenfüllung, um Ihren DynamoDB-Tabellen eine In-Memory-Beschleunigung hinzuzufügen. DAX ist ein Inline-Cache. Wenn das zwischengespeicherte Element also nicht vorhanden oder veraltet ist, reift DAX automatisch auf die zugrunde liegende Tabelle zu.

Damit können Sie sich jetzt auf die Entwicklung hervorragender Anwendungen für Ihre Kunden konzentrieren, ohne sich Gedanken über Leistung und Skalierbarkeit machen zu müssen. Da DAX mit vorhandenen DynamoDB-API-Aufrufen kompatibel ist, sind keine Anwendungsänderungen erforderlich, was den Einstieg erleichtert. 

Integration von Amazon-DynamoDB-Null-ETL in Amazon OpenSearch Service

Die Amazon DynamoDB-Null-ETL-Integration in Amazon OpenSearch Service bietet eine vollständig verwaltete ETL-Pipeline ohne Code mit nahezu Echtzeitreplikation von DynamoDB zu OpenSearch Service. Diese Null-ETL-Integration ermöglicht es Kunden, ihre Daten innerhalb von Sekunden nahtlos von DynamoDB mit OpenSearch Service zu synchronisieren, wobei kein benutzerdefinierter Code geschrieben werden muss, um komplexe Datenpipelines für Extraktions-, Transformations- und Ladevorgänge (ETL) zu erstellen und zu verwalten. Diese Integration reduziert den operativen Aufwand und die Kosten, die mit der Synchronisation der Daten zwischen Transaktions- und Suchdatenbanken verbunden sind, sodass sich die Kunden auf ihre Kerngeschäftsprobleme konzentrieren können. 

Sie können Ihre erste Pipeline schnell über die Registerkarte „Integrationen“ in der DynamoDB-Konsole erstellen. Die Integration nutzt Amazon-OpenSearch-Erfassungs-Pipelines, um die Transformationen, das Routing und die Zuordnung Ihrer DynamoDB-Daten zu bestimmten OpenSearch-Service-Indizes zu definieren und zu verarbeiten.

Diese Null-ETL-Integration macht es einfach, Indizes für Volltextsuche, Suche nach Geodaten, Vektorsuche und mehr zu erstellen. OpenSearch-Service-Suchen und -Aggregationen arbeiten mit DynamoDB-Abfragen zusammen, um interaktive, performante Anwendungen zu ermöglichen. DynamoDB-Kunden können jetzt die umfassenden Such- und Machine-Learning-Funktionen von OpenSearch Service nutzen, um neue Erlebnisse zu bieten, die die Benutzereinbindung steigern und die Zufriedenheit mit ihren Anwendungen verbessern. Erfahren Sie mehr in diesem Null-ETL-Tutorial.

Ereignisbasierte Auslöser mit AWS Lambda

Mit AWS-Lambda-Auslösern für Amazon DynamoDB können Sie auf einfache Weise benutzerdefinierte Logik einrichten, die als Reaktion auf Änderungen an einem Element in DynamoDB ausgeführt wird. Nach der Aktivierung von DynamoDB-Streams können Sie Ihren ersten Auslöser schnell auf der Registerkarte „Exporte und Streams“ in der DynamoDB-Konsole erstellen. Nachdem Sie Ihren Auslöser konfiguriert haben, kann Ihr Lambda-Code innerhalb von Sekunden nach Änderungen an den Daten in Ihrer Tabelle ausgelöst werden.

Mit AWS-Lambda-Auslösern für DynamoDB können Sie auf einfache Weise Datenbankauslöser erstellen, um Daten zu validieren und anzureichern, indem Sie die Daten replizieren, in andere Services integrieren oder ganze ereignisgesteuerte Architekturen wie Auftragserfüllung oder Medienverarbeitung erstellen, die auf Datenänderungen in DynamoDB-Tabellen reagieren. Die Lambda-Funktion kann jede von Ihnen festgelegte Aktion durchführen, z. B. Senden einer Benachrichtigung oder Initiieren eines Workflows.  

Null-ETL-Integration von Amazon DynamoDB in Amazon Redshift

Die Amazon DynamoDB Zero-ETL-Integration mit Amazon Redshift bietet eine vollständig verwaltete ETL-Pipeline ohne Code mit Replikation von DynamoDB auf Amazon Redshift. Diese Null-ETL-Integration ermöglicht es Kunden, ihre Daten innerhalb von Sekunden nahtlos von DynamoDB mit Amazon Redshift zu synchronisieren, wobei kein benutzerdefinierter Code geschrieben werden muss, um komplexe Datenpipelines für Extraktions-, Transformations- und Ladevorgänge (ETL) zu erstellen und zu verwalten. Diese Integration reduziert den operativen Aufwand und die Kosten, die mit der Synchronisation der Daten zwischen Transaktionsdatenbanken und Data Warehouses verbunden sind, sodass sich die Kunden auf ihre Kerngeschäftsprobleme konzentrieren können.

Themen der Seite

Allgemeines
8

Allgemeines

Die DynamoDB-Null-ETL-Integration mit OpenSearch Service abstrahiert die operative Komplexität bei der Orchestrierung der Replikation von Daten von einem Transaktionsdatenspeicher in einen Suchdatenspeicher. Datenpipelines, die verwendet werden, um Transaktions- und Suchdatenspeicher synchron zu halten, können schwierig und kostspielig sein, und es treten gelegentlich Fehler auf, die schwer nachzuverfolgen sind. 

Diese Integration ermöglicht es Amazon-DynamoDB-Kunden, nahezu in Echtzeit Suchergebnisse aus ihren Transaktionsdaten zu erhalten, indem eine vollständig verwaltete Lösung angeboten wird, mit der Transaktionsdaten aus DynamoDB innerhalb von Sekunden nach dem Schreiben in OpenSearch Service verfügbar gemacht werden können. Kunden wählen einfach die DynamoDB-Tabellen aus, die die Daten enthalten, die sie mit OpenSearch Service analysieren möchten, und diese Null-ETL-Integration repliziert das Schema und die Daten mithilfe von OpenSearch-Ingestion-Pipelines nahtlos in OpenSearch Service. Kunden können Daten aus mehreren DynamoDB-Tabellen in eine einzige, von OpenSearch Service verwaltete Domain oder Serverless-Sammlung replizieren, um ganzheitliche Erkenntnisse über mehrere Anwendungen hinweg zu gewinnen und gleichzeitig ihre wichtigsten Analytics-Ressourcen zu konsolidieren, wodurch erhebliche Kosteneinsparungen und operative Effizienz erzielt werden. 

Kunden können mit der AWS-Managementkonsole für DynamoDB, OpenSearch Service, AWS CLI oder AWS SDK oder AWS CloudFormation beginnen. Um eine Integration zu ermöglichen, wählen Kunden zunächst die DynamoDB-Tabelle aus, deren Daten repliziert werden müssen. Kunden wählen dann entweder DynamoDB Streams für die Replikation nahezu in Echtzeit oder DynamoDB Incremental Exports für verzögerte Replikation als CDC-Mechanismus, um die Daten zwischen den beiden Systemen synchron zu halten. 

Diese Null-ETL-Integration richtet eine OpenSearch-Ingestion-Pipeline im Kundenkonto ein, die sich um die Replikation der Daten in einen von OpenSearch Service verwalteten Cluster oder eine Serverless-Sammlung kümmert. OpenSearch Ingestion versteht die Struktur der DynamoDB-Tabellen und erstellt dann eine entsprechende, vom OpenSearch Service verwaltete Domain oder Serverless-Sammlung und bootet das Ziel mit den vorhandenen Daten aus den DynamoDB-Tabellen. Optional können Kunden ein Schema für die Indizes angeben, die in OpenSearch Service erstellt werden. 

Diese Null-ETL-Integration bietet Ihnen ein Dashboard, in dem Sie den Status Ihrer End-to-End-Integration mit Echtzeitmetriken und Protokollen von Amazon CloudWatch überwachen können. Sie können Benachrichtigungen einrichten, falls benutzerdefinierte Schwellenwerte überschritten werden. Diese Integration überwacht auch kontinuierlich den Status der DynamoDB-Tabellen und OpenSearch-Service-Indizes und benachrichtigt Benutzer sofort, falls Regressionen mit einer dieser Entitäten auftreten.

Um sicherzustellen, dass OpenSearch Ingestion über die erforderlichen Berechtigungen verfügt, um Daten zwischen diesen beiden Systemen zu replizieren, erstellt die DynamoDB-Null-ETL-Integration in OpenSearch Service eine IAM-Rolle mit den erforderlichen Berechtigungen, um Daten aus DynamoDB-Tabellen zu lesen und in eine OpenSearch-Domain oder -Sammlung zu schreiben. Diese Rolle wird dann von den OpenSearch-Ingestion-Pipelines übernommen, um sicherzustellen, dass beim Verschieben der Daten von der Quelle zum Ziel immer die richtige Sicherheitslage eingehalten wird.

Diese Null-ETL-Integration nutzt die nativen Datentransformationsfunktionen der OpenSearch-Ingestion-Pipelines, um die Daten zu aggregieren und zu filtern, während sie verschoben werden. Beim Verschieben der Daten aus einer DynamoDB-Tabelle möchten Kunden möglicherweise einige Felder löschen oder neue Felder erstellen, die auf Aggregationen vorhandener Felder basieren. 

Optional können Kunden auch eine benutzerdefinierte Logik für OpenSearch Ingestion schreiben, um maßgeschneiderte Transformationsfunktionen zu erreichen. Für andere Benutzer, die nur ihre gesamten Daten von der Quelle zur Sink verschieben möchten, bietet diese Null-ETL-Integration sofort einsatzbereite OpenSearch-Ingestion-Vorlagen, sodass sie die Integrationen mit nur wenigen Tastenklicks durchführen können.

Diese Null-ETL-Integration bietet Kunden die Möglichkeit, ihr benutzerdefiniertes Datenschema zusammen mit Indexzuordnungen anzugeben, die von OpenSearch Ingestion beim Schreiben von Daten von DynamoDB in OpenSearch Service verwendet werden. Diese Möglichkeit wurde der Benutzeroberflächenkonsole in DynamoDB hinzugefügt, sodass Kunden die volle Kontrolle über das Format der Indizes haben, die im OpenSearch Service erstellt werden.

Für die Nutzung der DynamoDB-Null-ETL-Integration in OpenSearch Service fallen keine zusätzlichen Kosten an, abgesehen von den Kosten für die vorhandenen zugrunde liegenden Komponenten. Diese Null-ETL-Integration verwendet Amazon OpenSearch Ingestion, um Daten in DynamoDB-Tabellen zu lesen und in OpenSearch Service zu replizieren. Die Kosten für die Verwendung der DynamoDB-Null-ETL-Integration in OpenSearch Service entsprechen den Kosten für OpenSearch Compute Units (OCUs), die für OpenSearch Ingestion benötigt werden, um die Daten systemübergreifend zu replizieren. Darüber hinaus haben Kunden die Möglichkeit, entweder DynamoDB-Streams oder inkrementelle Exporte als CDC-Option zu wählen. Bei inkrementellen Exporten fallen Kosten für das Schreiben von Daten in S3-Buckets an. Für DynamoDB-Streams würden Kunden die Standardgebühren für die Nutzung von DynamoDB-Streams berechnet.

Die Null-ETL-Integration von DynamoDB in Amazon OpenSearch Service ist in allen Regionen verfügbar, in denen OpenSearch Ingestion heute verfügbar ist.