Daten innerhalb und zwischen AWS-Regionen mit Amazon S3 Replication replizieren

Übersicht

Die Amazon S3 Replication ist ein elastische, vollständig verwaltetes, kostengünstiges Feature, das Objekte zwischen Amazon-S3-Buckets repliziert. S3 Replication bietet Ihnen jetzt die Möglichkeit, Daten von einem Quell-Bucket auf mehrere Ziel-Buckets in derselben oder in anderen AWS-Regionen zu replizieren. Unabhängig davon, ob Sie eine sekundäre Kopie Ihrer Daten zur Datensicherung aufbewahren oder Daten an mehreren Standorten haben möchten, um den Nutzern eine möglichst geringe Latenzzeit zu bieten gibt Ihnen S3 Replication die Kontrolle, die Sie benötigen, um Ihre Geschäftsanforderungen zu erfüllen. Dieser Amazon-S3-Leitfaden für die ersten Schritte zeigt Ihnen, wie Sie die bewährten Methoden für die S3-Replikation mit regionsinterne S3-Replikation (S3 SRR), regionsübergreifende S3-Replikation (S3 CRR), Begrenzung der S3-Replikationszeit (S3 RTC) und S3-Batch-Replikation befolgen. 

Mit regionsinterne S3-Replikation (SRR) können Sie Daten automatisch zwischen Buckets innerhalb derselben AWS-Region replizieren, um Protokolle in einem einzigen Bucket zusammenzufassen, zwischen Entwickler- und Testkonten zu replizieren und die Gesetze zur Datenhoheit einzuhalten. Mit regionsübergreifende S3-Replikation (CRR) können Sie neue Objekte (und deren entsprechende Metadaten und Objekt-Tags) in andere AWS-Regionen replizieren. Das dient der Latenzreduzierung, Compliance, Sicherheit, Notfallwiederherstellung und regionaler Effizienz. Sie können auch Begrenzung der S3-Replikationszeit (S3 RTC) aktivieren, um die Compliance- oder Geschäftsanforderungen für die Datenreplikation zu erfüllen. S3 RTC repliziert die meisten Objekte, die Sie auf Amazon S3 hochladen, innerhalb von Sekunden, und 99,99 Prozent dieser Objekte innerhalb von 15 Minuten. Sie können S3 Batch Replication verwenden, um einen neu erstellten Bucket mit vorhandenen Objekten aufzufüllen, versuchen, Objekte, die zuvor nicht repliziert werden konnten, erneut zu replizieren, Daten zwischen Konten zu migrieren oder Ihrem Data Lake neue Buckets hinzuzufügen. Weitere Informationen zur S3-Replikation finden Sie im Abschnitt Objekte replizieren im Benutzerhandbuch für Amazon S3. Am Ende dieses Tutorials werden Sie in der Lage sein, Daten innerhalb und zwischen AWS-Regionen mithilfe von Amazon S3 Replication zu replizieren.

Was Sie erreichen werden

In diesem Tutorial werden Sie:

  • Einen S3-Bucket erstellen
  • Eine S3-Replikationsregel für Ihren S3-Bucket erstellen
  • Einen Ziel-S3-Bucket wählen
  • IAM-Rollen für die Replikation wählen oder erstellen
  • Einen Verschlüsselungstyp angeben (optional)
  • Die Ziel-S3-Speicherklasse wählen
  • Zusätzliche Replikationsoptionen aktivieren (optional)

Voraussetzungen

 Erfahrung mit AWS

Einsteiger

 Benötigte Zeit

20 Minuten

 Kosten für die Fertigstellung

Weniger als 1 USD (Amazon-S3-Preisseite)

 Erfordert

AWS-Konto**
 
[**] Innerhalb der letzten 24 Stunden erstellte Konten haben möglicherweise noch keinen Zugriff auf alle für dieses Tutorial erforderlichen Services.
 

 Verwendete Services

 Letzte Aktualisierung

17. Oktober 2022

Implementierung

Schritt 1: Erstellen eines Amazon-S3-Buckets

1.1 – Melden Sie sich bei der Amazon-S3-Konsole an

  • Erstellen Sie ein AWS-Konto, falls Sie dies noch nicht getan haben. 
  • Melden Sie sich mit Ihren Kontoinformationen bei der AWS-Managementkonsole an.
  • Geben Sie in der Suchleiste der AWS-Konsolenservices S3 ein. Wählen Sie im Abschnitt mit den Suchergebnissen für Services S3 aus.

1.2 – Erstellen Sie einen S3-Bucket

  • Wählen Sie im Amazon-S3-Menü im linken Navigationsbereich Buckets aus und klicken Sie dann auf die Schaltfläche Bucket erstellen.

1.3

  • Geben Sie einen aussagekräftigen, global eindeutigen Namen für Ihren Bucket ein. Wählen Sie aus, in welcher AWS-Region Sie Ihren Bucket erstellen möchten. In diesem Beispiel ist die Region EU (Frankfurt) eu-central-1 ausgewählt. S3 Replication erfordert, dass die Bucket-Versionsverwaltung sowohl für Quell- als auch für Ziel-S3-Buckets aktiviert ist. Weitere Informationen finden Sie unter Verwendung von Versionsverwaltung in S3-Buckets.
  • Sie können die verbleibenden Optionen als Standardeinstellungen belassen. Navigieren Sie zum Ende der Seite und wählen Sie Bucket erstellen.

1.4

  • Wiederholen Sie die obigen Schritte, um einen weiteren S3-Bucket zu erstellen, der als Ziel-Bucket für die Replikation von Objekten dient. Stellen Sie sicher, dass Sie die Bucket-Versionsverwaltung auch für den S3-Ziel-Bucket aktivieren. 

Schritt 2: Erstellen Sie eine S3-Replikation in Ihrem S3-Bucket

2.1 – S3-Quell-Bucket auswählen

  • Wählen Sie aus Ihrer Liste der S3-Buckets den S3-Bucket aus, den Sie als Quelle für die Replikation konfigurieren möchten.

2.2 

Sobald Sie den S3-Quell-Bucket ausgewählt haben, führt Sie die Konsole zur S3-Bucket-Landingpage, wie im folgenden Screenshot gezeigt. Hier können Sie die Objekte, Eigenschaften, Berechtigungen, Metriken, Verwaltung, und Zugriffspunkte für den ausgewählten S3-Bucket überprüfen.

2.3 – Erstellen Sie eine S3-Replikationsregel für den ausgewählten S3-Bucket

  • Wählen Sie die Registerkarte Management des Replikationsquellen-Buckets. Unter Verwaltung werden Sie Replikationsregeln sehen. Wählen Sie Replikationsregel erstellen aus.

Schritt 3: Konfiguren Sie eine Replikationsregel

3.1 – Replikationsregel aktivieren

  • Geben Sie einen Namen für die Replikationsregel ein und aktivieren Sie die Replikationsregel, indem Sie im Abschnitt Status die Option Aktiviert auswählen. Wenn die Replikationsregel deaktiviert ist, wird sie nicht ausgeführt.

Priorität gibt an, welche Regel Vorrang hat, wenn zwei oder mehr Replikationsregeln in Konflikt geraten. Sie haben die Möglichkeit, die Priorität jeder Replikationsregel auf der Seite mit der Replikationskonfiguration zu bearbeiten. Amazon S3 versucht, Objekte gemäß allen Replikationsregeln zu replizieren. Wenn es jedoch zwei oder mehr Regeln mit demselben Ziel-Bucket gibt, werden Objekte gemäß der Regel mit der höchsten Priorität repliziert. Eine Regel mit Priorität 1 wird vor einer Regel mit Priorität 2 ausgeführt. Je niedriger die Zahl, desto höher ist die Priorität. Angenommen, Sie haben eine Replikationsregel, um alle Objekte mit dem Tag foo1 zu replizieren, und eine weitere Replikationsregel, um alle Objekte mit dem Tag foo2 zu replizieren. Wenn Sie ein Objekt mit foo1 und foo2 gekennzeichnet haben, wird es nur mit der Replikationsregel mit der höheren Priorität repliziert. Wenn Sie nur eine Replikationsregel für einen Ziel-Bucket haben, wird die Priorität nicht berücksichtigt. 

3.2 – Wählen Sie aus, was repliziert werden soll

  • Grenzen Sie den Umfang der Replikation ein, indem Sie einen Filtertyp (Präfix oder Tags) definieren, oder entscheiden Sie sich dafür, den gesamten Bucket zu replizieren. Wenn Sie beispielsweise nur Objekte replizieren möchten, die sich im Präfix „Finanzen“ befinden, geben Sie diesen Bereich an. Weitere Informationen zum Filtern von Objekten für die Replikation finden Sie in der Dokumentation zur Angabe eines Filters im S3-Benutzerhandbuch.

3.3 – Wählen Sie den Ziel-S3-Bucket aus

  • Wählen Sie den Ziel-Bucket aus, indem Sie auf die Schaltfläche S3 durchsuchen klicken. Sie können in einen Ziel-Bucket in derselben oder einer anderen AWS-Region und in demselben oder einem anderen AWS-Konto replizieren. Beachten Sie, dass Sie zwei verschiedene S3-Buckets benötigen, um die Replikation zu konfigurieren, und dass für beide Buckets (Quelle und Ziel) S3-Versionsverwaltung aktiviert sein muss. Die S3-Konsole bietet Ihnen keine Möglichkeit, beim Einrichten der Replikation einen neuen S3-Bucket zu erstellen. In diesem Beispiel haben wir als Ziel-Bucket „aws-s3-replication-tutorial-destination-bucket“ ausgewählt.

3.4 – Überlegungen zu IAM

  • Wenn Sie neue Replikationsregeln aus demselben Quell-Bucket erstellen, stellen Sie sicher, dass die mit dieser Konfiguration verknüpfte IAM-Rolle über ausreichende Berechtigungen verfügt, um neue Objekte in den neuen Ziel-Bucket zu schreiben. Sie können wählen, ob Sie eine neue IAM-Rolle erstellen oder eine vorhandene IAM-Rolle mit den richtigen Berechtigungen auswählen möchten. Weitere Informationen finden Sie in der Dokumentation zum Einrichten von Berechtigungen für S3-Replikation.

3.5 – Verschlüsselungsoptionen (Überspringen Sie diesen Schritt, wenn Ihre Objekte nicht verschlüsselt sind)

3.6 – Wählen Sie die S3-Speicherklasse für Ihr Ziel

  • Als Nächstes haben Sie die Möglichkeit, eine andere S3-Speicherklasse für Ihre replizierten Objekte im Ziel-Bucket auszuwählen. Erwägen Sie, kostengünstigere Speicherklassen zu wählen, die für Ihre Workloads geeignet sind. Sie können beispielsweise die Speicherklasse S3 Glacier Instant Retrieval wählen, wenn auf Ihre replizierten Objekte selten zugegriffen wird, sie aber in Millisekunden abgerufen werden müssen, S3 Glacier Deep Archive, um Daten zu archivieren, auf die selten zugegriffen werden muss, und S3 Intelligent-Tiering, um die Speicherkosten für Daten mit unvorhersehbaren oder sich ändernden Zugriffsmustern zu optimieren. Weitere Informationen finden Sie in der Dokumentation zur Verwendung von Amazon-S3-Speicherklassen.

3.7 – Zusätzliche Replikationsoptionen

  • Wählen Sie zusätzliche Replikationsoptionen aus, z. B. die Aktivierung von Begrenzung der S3-Replikationszeit (S3 RTC), Replikationsmetriken und Benachrichtigungen, die Replikation von Löschmarkern und die Synchronisation von Replikatänderungen. S3 RTC hilft Ihnen dabei, Compliance- und Geschäftsanforderungen zu erfüllen, da es ein SLA von 15 Minuten bietet, um 99,99 % Ihrer Objekte zu replizieren. RTC kann zusammen mit regionsübergreifende S3-Replikation (S3 CRR) und regionsinterne S3-Replikation (S3 SRR) aktiviert werden und standardmäßig sind Replikationsmetriken und Benachrichtigungen aktiviert. Für Nicht-RTC-Regeln haben Sie die Möglichkeit, Replikationsmetriken und Benachrichtigungen auszuwählen, welches detaillierte Metriken bereitstellt, um den minutenweisen Fortschritt der ausstehenden Bytes, ausstehenden Operationen und der Replikationslatenz für die Replikationsregel zu verfolgen. Wenn Sie Marker-Replikation löschen auswählen, werden Löschungen im Quell-Bucket in den Ziel-Bucket repliziert. Dies sollte aktiviert sein, wenn Sie die Quell- und Ziel-Buckets synchron halten möchten, aber nicht, wenn das Ziel darin besteht, vor versehentlichen oder böswilligen Löschungen zu schützen. Um eine bidirektionale Replikation zwischen zwei S3-Buckets einzurichten, erstellen Sie bidirektionale Replikationsregeln (A nach B und B nach A) und aktivieren Sie die Replikatmodifikationssynchronisierung für beide Replikationsregeln im Quell- und Ziel-S3-Bucket. Dies hilft Ihnen dabei, Objektmetadaten wie Tags, ACLs und Object-Lock-Einstellungen zwischen Replikaten und Quellobjekten synchron zu halten.
  • Überprüfen Sie die Replikationskonfiguration und wählen Sie Speichern.

Schritt 4: Erstellen Sie eine weitere S3-Replikationsregel für denselben S3-Quell-Bucket für einen anderen S3-Ziel-Bucket

  • Wiederholen Sie die vorherigen Schritte, um eine weitere S3-Replikationsregel aus demselben S3-Quell-Bucket in einen anderen S3-Ziel-Bucket zu erstellen. Geben Sie einen Namen für die Replikationsregel ein und aktivieren Sie die Replikationsregel, indem Sie im Abschnitt Status die Option Aktiviert auswählen. Wählen Sie aus, was repliziert werden soll, indem Sie den Geltungsbereich der Replikationsregel auswählen.
  • Wählen Sie den Ziel-Bucket aus, indem Sie auf die Schaltfläche S3 durchsuchen klicken. In diesem Beispiel haben wir als Ziel-Bucket „ack-test-bucket-us-east-1“ ausgewählt.
  • Wählen Sie die Ziel-S3-Speicherklasse aus. In diesem Beispiel haben wir uns für die Replikation in die Speicherklasse S3 Standard im Ziel-Bucket entschieden.
  • Wählen Sie Zusätzliche Replikationsoptionen für die Replikationsregel aus. In diesem Beispiel haben wir uns für die Aktivierung von Begrenzung der S3-Replikationszeit (RTC) entschieden.

Schritt 5: Überprüfen der Replikationskonfiguration

Sobald Sie die Replikationsregel gespeichert haben, befinden Sie sich wieder auf der Landingpage von S3-Replication, wie im folgenden Screenshot gezeigt. Hier können Sie die Replikationskonfiguration mit all den verschiedenen Replikationsregeln sowie den Regelprioritäten und den zusätzlichen Optionen wie Verschlüsselung und RTC überprüfen. 

Laden Sie als Nächstes ein neues Objekt in den Replikationsquellbucket hoch, um die neu hinzugefügte Replikationskonfiguration zu testen. Vergewissern Sie sich, dass das Objekt in den neuen Ziel-Bucket repliziert wird. Es kann einige Minuten dauern, bis Replikationsmetriken in der S3-Konsole angezeigt werden.

Schritt 6: Überwachen des Replikationsfortschritts

6.1 

Nachdem Sie die Replikation für diesen Bucket konfiguriert haben, können Sie Metriken und Benachrichtigungen pro Ziel verfolgen. Öffnen Sie den Tab Metriken für den Quell-Bucket.

6.2 

Navigieren Sie nach unten, um die Replikationsmetriken anzuzeigen, und wählen Sie eine oder mehrere Replikationsregeln aus, die überwacht werden sollen. Wählen Sie Diagramme anzeigen aus, um Vorgänge mit ausstehender Replikation, Byte mit ausstehender Replikation und Replikationslatenz für alle Replikationsregeln anzuzeigen.

Darüber hinaus können Sie den Link In CloudWatch anzeigen verwenden, um die Replikationsmetriken auf Amazon CloudWatch anzuzeigen. Hier erhalten Sie einen umfassenden Überblick über die Replikationsmetriken für jede Replikationsregel, Quell-Bucket und Ziel-Bucket an einem Ort. Darüber hinaus können Sie umsetzbare Erkenntnisse sammeln und Alarme zur Überwachung der Metriken einrichten. Weitere Informationen finden Sie unter Verwendung von Amazon-CloudWatch-Alarmen.

Schritt 7: Überwachen Sie den Replikationsstatus für einzelne Objekte

Sie können Amazon S3 Inventory verwenden, um den Replikationsstatus Ihrer Objekte zu prüfen und Berichte zu erstellen, die den geschäftlichen, gesetzlichen und regulatorischen Anforderungen entsprechen. Der Replikationsstatus kann Ihnen dabei helfen, den aktuellen Status eines zu replizierenden Objekts zu ermitteln. Für den Replikationsstatus eines Quellobjekts wird entweder Ausstehend, Abgeschlossen oder Fehlgeschlagen zurückgegeben. Der Replikationsstatus eines Replikats gibt Replikat zurück. Weitere Informationen zum Replikationsstatus finden Sie unter Informationen zum Replikationsstatus abrufen. Weitere Informationen zur Konfiguration des Amazon-S3-Inventory-Berichts finden Sie in der Dokumentation zur Verwaltung und Analyse Ihrer Daten in großem Maßstab mit Amazon S3 Inventory und Amazon Athena.

Schritt 8: Bereinigen der Ressourcen

8.1 – Testobjekt löschen

  • Wenn Sie sich von Ihrer AWS-Managementkonsolen-Sitzung abgemeldet haben, melden Sie sich erneut an. Navigieren Sie zur S3-Konsole und wählen Sie die Menüoption Buckets aus. Zuerst müssen Sie das Testobjekt aus Ihrem Test-Bucket löschen. Wählen Sie den Namen des Buckets aus, mit dem Sie in diesem Tutorial gearbeitet haben. 
  • Setzen Sie ein Häkchen in das Kontrollkästchen links neben dem Namen Ihres Testobjekts und wählen Sie dann die Schaltfläche Löschen aus.
  • Vergewissern Sie sich auf der Seite Objekte löschen, dass Sie das richtige Objekt zum Löschen ausgewählt haben, und geben Sie Löschen in das Bestätigungsfeld Objekte dauerhaft löschen ein. Wählen Sie dann die Schaltfläche Objekt löschen aus, um fortzufahren. 
  • Anschließend wird ein Banner angezeigt, das angibt, ob das Löschen erfolgreich war.

8.2 – Test-Bucket löschen

  • Abschließend müssen Sie den erstellten Test-Bucket löschen. Kehren Sie zur Liste der Buckets in Ihrem Konto zurück. Wählen Sie das Optionsfeld links neben dem Quell-Bucket aus, den Sie für dieses Tutorial erstellt haben, und wählen Sie dann die Schaltfläche Löschen aus. 
  • Überprüfen Sie die Warnmeldung. Wenn Sie mit dem Löschen dieses Buckets fortfahren möchten, geben Sie den Bucket-Namen in das Bestätigungsfeld Bucket löschen ein und wählen dann Bucket löschen aus.
  • Wiederholen Sie die vorherigen Schritte, um auch den Ziel-Bucket zu löschen, der im Rahmen dieses Tutorials erstellt wurde. Kehren Sie zur Liste der Buckets in Ihrem Konto zurück. Wählen Sie das Optionsfeld links neben dem Quell-Bucket aus, den Sie für dieses Tutorial erstellt haben, und wählen Sie dann die Schaltfläche Löschen aus.
  • Überprüfen Sie die Warnmeldung. Wenn Sie mit dem Löschen dieses Buckets fortfahren möchten, geben Sie den Bucket-Namen in das Bestätigungsfeld Bucket löschen ein und wählen dann Bucket löschen aus.

Zusammenfassung

Herzlichen Glückwunsch! Sie haben gelernt, wie Sie mit S3 Replication Objekte von Quell- zu Ziel-S3-Buckets in einer oder mehreren AWS-Regionen replizieren, um Compliance-Anforderungen zu erfüllen, die Latenz zu minimieren und die Betriebseffizienz zu steigern.

S3 Replication ist ein vollständig verwaltetes, kostengünstiges, richtlinienbasiertes Speicherverwaltungsfeature, das so konzipiert ist, dass nur wenige bis gar keine manuellen Eingriffe erforderlich sind. Wir empfehlen Ihnen, Metriken und Benachrichtigungen für jede Replikationsregel zu aktivieren, Amazon-S3-Ereignisbenachrichtigungen für Ihren Quell-Bucket zu aktivieren und die entsprechenden Amazon CloudWatch-Metriken und Warnungen zu aktivieren. Nach der Aktivierung können Sie den Fortschritt der S3-Replikation auf einen oder mehrere S3-Buckets verfolgen.

War diese Seite hilfreich?

Nächste Schritte