Datenmigration in die Cloud
Daten sind die Eckpfeiler für erfolgreiche Anwendungsbereitstellungen, Analyse-Workflows und Machine Learning-Innovationen. Wenn Sie Daten in die Cloud verlagern, müssen Sie unter anderem nachvollziehen können, wohin Sie die Daten bei verschiedenen Anwendungsfällen verlagern, Sie müssen sich bewusst machen, welche Daten Sie verlagern, und Sie müssen sich mit den verfügbaren Netzwerkressourcen vertraut machen. AWS bietet eine große Bandbreite an Services und Partnertools, die Sie bei der Migration Ihrer Datensätze unterstützen. Dabei kann es sich um Dateien, Datenbanken, Computer-Images, Block-Volumes oder sogar Sicherungen auf Bandlaufwerken handeln.
AWS-Services für die Migration von Cloud-Daten
AWS bietet ein Portfolio von Datenübertragungsdiensten, um für jedes Datenmigrationsprojekt die richtige Lösung zu finden. Der Grad der Konnektivität ist ein wichtiger Faktor bei der Datenmigration, und AWS hat Angebote, die Ihren Anforderungen an hybriden Cloud-Speicher, Online-Datentransfer und Offline-Datentransfer gerecht werden können.
Hybrid-Cloud-Speicher
Viele Kunden möchten die Vorteile von Cloud-Speicher nutzen, haben aber lokal ausgeführte Anwendungen, die schnellen Datenzugriff erfordern, oder müssen Daten schnell in die Cloud übertragen. AWS Hybrid Cloud-Speicherarchitekturen verbinden Ihre lokalen Anwendungen und Systeme mit dem Cloud-Speicher und helfen Ihnen so beim Reduzieren der Kosten, Minimieren des Verwaltungsaufwands und Schaffen von Innovationen mit Ihren Daten.
AWS Storage Gateway
Der AWS Storage Gateway erleichtert die lokale Umstellung auf AWS-Speicherung. Mit Storage Gateway können Sie Ihre On-Premise-Anwendungen einfach mit AWS Storage vernetzen und erweitern. Kunden verwenden Storage Gateway, um Bandbibliotheken nahtlos durch Cloud Storage zu ersetzen, Cloud Storage-unterstützte Dateifreigaben bereitzustellen oder einen Cache mit geringer Latenz für den Zugriff auf Daten in AWS für On-Premise-Anwendungen zu erstellen. Der Service bietet drei verschiedene Arten von Gateways: File Gateway, Tape Gateway und Volume Gateway.
- File Gateway Dateidaten werden in Amazon S3 als langlebige Objekte mit Amazon S3 File Gateway oder in vollständig verwalteten Dateifreigaben mit Amazon FSx File Gateway gespeichert.
- Die Konfiguration der virtuellen Tape-Gateway-Bandbibliothek integriert sich nahtlos in Ihre vorhandene Sicherungssoftware und ermöglicht so einen kostengünstigen Bandaustausch in Amazon S3 und eine langfristige Archivierung in S3 Glacier und S3 Glacier Deep Archive.
- Volume Gateway speichert oder cacht Block-Volumes lokal mit zeitpunktbezogenen Sicherungen als EBS-Snapshots. Diese Snapshots können in der Cloud wiederhergestellt werden.
AWS Direct Connect
Kunden wählen eine spezielle physische Direct Connect-Verbindung zur Beschleunigung von Netzwerkübertragungen zwischen ihren Rechenzentren und den AWS-Rechenzentren.
AWS Direct Connect ermöglicht Ihnen, eine dedizierte Netzwerkverbindung zwischen Ihrem Netzwerk und einem der AWS Direct Connect-Standorte herzustellen. Mithilfe von VLANs nach Branchenstandard 802.1q kann diese dedizierte Verbindung in mehrere virtuelle Schnittstellen partitioniert werden. Damit erhalten Sie die Möglichkeit, über ein und dieselbe Verbindung auf öffentliche Ressourcen wie z. B. in Amazon S3 gespeicherte Objekte, die einen öffentlichen IP-Adressraum verwenden, und private Ressourcen wie z. B. Amazon EC2-Instances innerhalb einer Amazon Virtual Private Cloud (VPC), die private IP-Bereiche verwenden, zuzugreifen und gleichzeitig die Netzwerktrennung zwischen öffentlichen und privaten Umgebungen beizubehalten. Virtuelle Schnittstellen können jederzeit neu konfiguriert werden, um an veränderte Anforderungen angepasst zu werden.
Lernen Sie unsere AWS Direct Connect-Partnerpakete kennen, mit denen Sie lokale Technologien in die Cloud ausdehnen können.
Online-Datenübertragung
Diese Services vereinfachen die Online-Übertragung Ihrer Daten in und aus AWS.
AWS DataSync
AWS DataSync ist ein Datenübertragungsservice, der es Ihnen vereinfacht, Datenbewegungen zwischen standortbasierten Speichersystemen und Amazon S3, dem Amazon Elastic File System (Amazon EFS) oder Amazon FSx for Windows File Server zu automatisieren. DataSync verarbeitet viele Aufgaben in Bezug auf Datenübertragungen, die Migrationen verlangsamen oder Ihre IT-Abläufe erschweren können, automatisch, darunter die Ausführung Ihrer eigenen Instances, Verschlüsselungsverwaltung, Skriptverwaltung, Netzwerkoptimierung und Datenintegritätsvalidierung. Sie können DataSync für die Übertragung von Daten bei Geschwindigkeiten verwenden, die die von Open-Source-Lösungen um das 10fache übertreffen. Sie können DataSync zum Kopieren von Daten über AWS Direct Connect oder Internetverbindungen nach AWS verwenden, wenn es sich um einmalige Datenmigrationen, um wiederkehrende Datenverarbeitungs-Workflows und die automatische Replikation für den Schutz und die Wiederherstellung von Daten handelt.
AWS Transfer Family
Die AWS Transfer Family bietet vollständig verwalteten Support für Dateiübertragungen direkt in und aus Amazon S3. Mit dem Support für Secure File Transfer Protocol (SFTP), File Transfer Protocol over SSL (FTPS) und File Transfer Protocol (FTP) hilft AWS Transfer Family Ihnen bei der nahtlosen Migration Ihrer Dateiübertragungs-Workflows auf AWS durch Integration in vorhandene Authentifizierungssysteme und Bereitstellung von DNS-Routing mit Amazon Route 53, sodass sich für Ihre Kunden und Partner oder deren Anwendungen nichts ändert. Mit Ihren Daten in Amazon S3 können Sie dies mit AWS-Services für Verarbeitung, Analyse, Machine Learning und Archivierung verwenden. Erste Schritte mit AWS Transfer Family sind einfach; Sie brauchen keine Infrastruktur zu kaufen und einzurichten.
Amazon S3 Transfer Acceleration
Amazon S3 Transfer Acceleration beschleunigt Datenübertragungen über das Internet zu Amazon S3. Maximieren Sie die verfügbare Bandbreite unabhängig von der Entfernung oder dem Datenverkehrsaufkommen im Internet. Sie benötigen dafür weder spezielle Clients noch unternehmenseigene Netzwerkprotokolle. Ändern Sie einfach den für Ihren S3-Bucket verwendeten Endpunkt. Die Übertragung wird dadurch automatisch beschleunigt.
Diese Lösung eignet sich optimal für wiederkehrende, weltweit zu übertragende Aufträge, wie Medien-Uploads, Sicherungen und lokale Datenverarbeitungsaufgaben, die regelmäßig an einen zentralen Standort übermittelt werden.
AWS Snowcone
AWS Snowcone ist das kleinste Mitglied der AWS Snow-Familie mit Geräten für Edge-Computing und Datenübertragung. Snowcone ist portabel, robust und sicher. Sie können Snowcone verwenden, um Daten online mit AWS DataSync zu sammeln, zu verarbeiten und in AWS zu verschieben. Die Ausführung von Anwendungen in unvernetzten Umgebungen und an vernetzten Edge-Standorten kann eine Herausforderung darstellen, da diese Standorte häufig nicht genügend Platz, Leistung und Kühlmöglichkeiten für die IT-Ausrüstung im Rechenzentrum bieten. AWS Snowcone speichert Daten sicher an Edge-Standorten und kann Edge-Computing-Workloads ausführen, die AWS IoT Greengrass- oder Amazon EC2-Instances nutzen. Snowcone-Geräte sind klein und wiegen nur 2,1 kg. Sie können im Rucksack transportiert werden und eignen sich für den Einsatz an Orten mit begrenztem Platz, etwa im IoT-Bereich, in Fahrzeugen und sogar Drohnen.
Amazon Kinesis Data Firehose
Die einfachste Methode, um Streaming-Daten in AWS zu laden, bietet Amazon Kinesis Data Firehose. Es kann Streaming-Daten aufzeichnen und automatisch in Amazon S3 und Amazon Redshift laden, sodass Analysen mit vorhandenen Business Intelligence-Tools und Dashboards, die Sie bereits heute verwenden, fast in Echtzeit möglich werden. Es handelt sich um einen vollständig verwalteten Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert. Er kann die Daten vor dem Laden auch in Batches unterteilen, komprimieren und verschlüsseln, um den am Zielort verwendeten Speicherplatz zu minimieren und die Sicherheit zu erhöhen. Sie können über die AWS-Managementkonsole sehr einfach einen Firehose-Lieferungsdatenstrom einrichten, ihn mit wenigen Klicks konfigurieren und gleich beginnen, Daten von Hunderttausenden Datenquellen zum Stream zu senden, die kontinuierlich in AWS geladen werden – und all dies in nur wenigen Minuten.
APN-Partnerprodukte
AWS ist mit zahlreichen Branchenanbietern von physischen Gateway-Appliances Partnerschaften eingegangen und schließt damit die Lücke zwischen herkömmlichen Sicherungen und der Cloud. Lokale Daten werden mit der Cloud von Amazon verknüpft und so ohne Beeinträchtigung der Leistung sowie unter Beibehaltung vorhandener Sicherungskataloge übertragen.
- Nahtlose Integration in vorhandene Infrastruktur
- Möglicherweise Deduplizierung, Komprimierung, Verschlüsselung oder WAN-Beschleunigung
- Lokale Zwischenspeicherung aktueller Sicherungen, Speicherung aller Daten in der AWS Cloud
Offline-Datenübertragung
Die AWS Snow-Familie vereinfacht die Offline-Datenübertragung in und aus AWS.
AWS Snowcone
AWS Snowcone ist das kleinste Mitglied der AWS Snow-Familie mit Geräten für Edge-Computing und Datenübertragung. Snowcone ist portabel, robust und sicher. Sie können Snowcone verwenden, um Daten offline zu sammeln, zu verarbeiten und zu AWS zu übertragen, indem Sie das Gerät versenden. Die Ausführung von Anwendungen in unvernetzten Umgebungen und an vernetzten Edge-Standorten kann eine Herausforderung darstellen, da diese Standorte häufig nicht genügend Platz, Leistung und Kühlmöglichkeiten für die IT-Ausrüstung im Rechenzentrum bieten. AWS Snowcone speichert Daten sicher an Edge-Standorten und kann Edge-Computing-Workloads ausführen, die AWS IoT Greengrass- oder Amazon EC2-Instances nutzen. Snowcone-Geräte sind klein und wiegen nur 2,1 kg. Sie können im Rucksack transportiert werden und eignen sich für den Einsatz an Orten mit begrenztem Platz, etwa im IoT-Bereich, in Fahrzeugen und sogar Drohnen.
AWS Snowball
Bei AWS Snowball handelt es sich um ein Datentransport- und Edge-Computing-Gerät auf Petabyte-Ebene, das über integrierte Speicher- und Rechenkapazitäten verfügt und in zwei Varianten erhältlich ist. Snowball Edge Storage Optimized-Geräte bieten Blockspeicherung und Amazon S3-kompatible Objektspeicherung sowie 40 vCPUs. Sie sind gut für lokale Speicherung und eine große Datenübertragung geeignet. Snowball Edge Compute Optimized-Geräte bieten 52 vCPUs, Block- und Objektspeicherung und einen optionalen Grafikprozessor für Anwendungsfälle wie fortgeschrittenes Machine Learning und Full Motion-Videoanalyse in nicht verbundenen Umgebungen. Sie können diese Geräte zum Erfassen, Verarbeiten und Speichern von Daten sowie für Machine Learning in Umgebungen einsetzen, in denen keine durchgängige Netzwerkverbindung gewährleistet werden kann, wie etwa in der Fertigung und im Transportwesen, oder auch an weit entfernt gelegenen Standorten wie Militär- oder Marineoperationen, und sie anschließend an AWS zurückschicken. Diese Geräte können für größere temporäre Installationen auch in Racks oder Clustern angeordnet werden.
Nicht verwaltete Tools für die Datenmigration in die Cloud
AWS bietet außerdem einfache Skript- oder Befehlszeilenschnittstellen-Werkzeuge, um eine größere Anzahl an Daten von Ihrem Standort in den AWS-Cloud-Speicher zu übertragen.
rsync
Kunden setzen das Open-Source-Tool rsync gemeinsam mit Dateisystem-Tools von Drittanbietern ein, um Daten direkt in S3-Buckets zu kopieren.
S3-Befehlszeilenschnittstelle
Kunden verwenden die Amazon S3-Befehlszeilenschnittstelle, um mithilfe von Befehlen Daten direkt in S3-Buckets zu verschieben.
S3 Glacier-Befehlszeilenschnittstelle
Kunden verwenden die Amazon S3 Glacier-Befehlszeilenschnittstelle, um Daten in S3 Glacier-Datenspeicher zu verschieben.
Die große Herausforderung der Datenmigration in die Cloud
Bei den meisten Projekten bereitet der Datentransport besonderes Kopfzerbrechen. Wie können Sie Ihre Daten mit einer möglichst geringen Unterbrechung des Betriebs und minimalem Kosten- und Zeitaufwand elegant vom aktuellen Standort in die neue Cloud verlagern? Wie lassen sich GB, TB oder PB von Daten möglichst intelligent verschieben?
All diesen Fragen liegt eine zentrale Frage zugrunde: Wie viele Daten können mit welcher Geschwindigkeit über welche Entfernung übertragen werden? Für ein Best-Case-Szenario gilt folgende Formel:
Anzahl der Tage = (Byte insgesamt)/(Megabit pro Sekunde * 125 * 1000 * Netzwerkauslastung * 60 Sekunden * 60 Minuten * 24 Stunden)
Beispiel: Sie haben eine T1-Verbindung (1 544 Mbit/s) und 1 TB (1024 x 1024 x 1024 x 1024 Byte) an Daten, die zu oder von AWS übertragen werden sollen. Theoretisch würde es mindestens 82 Tage dauern, um die Daten bei einer 80-prozentigen Auslastung des Netzwerks über Ihre Netzwerkverbindung zu übertragen.
Aber keine Sorge. Wir haben damit viel Erfahrung. Wir haben festgestellt, dass Kunden auf zwei verschiedene Arten vorgehen: Sie verschieben ihre Daten mit sehr einfachen, nicht verwalteten Migrationswerkzeugen oder sie entscheiden sich für die oben genannten Services von AWS.
Für optimale Ergebnisse empfehlen wir generell folgende Faustregel:
| Verbindung | Datenmenge | Methode |
|---|---|---|
| Unter 10 Mbit/s | Weniger als 500 GB | Nicht verwaltet |
| Über 10 Mbit/s | Mehr als 500 GB | Verwalteter Service |