Migrazione dei dati nel cloud
I dati sono la pietra miliare del successo della distribuzione di applicazioni, dei flussi di lavoro analitici e delle innovazioni del machine learning. Per il trasferimento dei dati nel cloud, è necessario capire, tra gli altri fattori, dove trasferirli in base ai vari casi d’uso, i tipi di dati che vengono trasferiti e le risorse di rete disponibili. AWS offre numerosi servizi e strumenti di partner per aiutarti nella migrazione dei set di dati, indipendentemente dal fatto che si tratti di file, database, immagini di macchine, volumi di blocchi o nastri di backup.
AWS Cloud Data Migration Services
AWS offre un portafoglio di servizi di trasferimento dati per fornire la soluzione giusta per qualsiasi progetto di migrazione dei dati. Il livello di connettività è un fattore importante nella migrazione dei dati e AWS fornisce soluzioni in grado di soddisfare le esigenze di archiviazione su cloud ibrido e trasferimento di dati online e offline.
Storage su cloud ibrido
Molti clienti vorrebbero sfruttare i vantaggi dell'archiviazione cloud, ma dispongono di applicazioni in esecuzione in locale che richiedono un accesso ai dati a bassa latenza o che richiedono un rapido trasferimento dei dati nel cloud. Le architetture di archiviazione cloud ibrida di AWS collegano le applicazioni e i sistemi locali allo spazio di archiviazione cloud per aiutarti a ridurre i costi, ridurre al minimo gli oneri di gestione e innovare con i tuoi dati.
AWS Storage Gateway
AWS Storage Gateway semplifica l'adozione in locale dello storage in AWS. Storage Gateway ti permette di collegare ed estendere le tue applicazioni in locale su AWS Storage. I clienti utilizzano Storage Gateway per sostituire senza problemi le librerie di nastri con l'archiviazione nel cloud, fornire condivisioni di file supportate da archiviazione nel cloud o creare una cache a bassa latenza per accedere ai dati in AWS per le applicazioni locali. Il servizio offre tre diversi tipi di gateway: gateway di file, Tape Gateway e Volume Gateway.
- Gateway di file i dati dei file sono archiviati in Amazon S3 come oggetti durevoli utilizzando il gateway di file di Amazon S3 o come condivisioni di file completamente gestite utilizzando il gateway di file di Amazon FSx.
- La configurazione di librerie di nastri virtuali o VTL (Virtual Tape Library) di Tape Gateway si integra perfettamente con il software di backup esistente per garantire una conveniente sostituzione di nastri in Amazon S3 e l'archiviazione a lungo termine in S3 Glacier e S3 Glacier Deep Archive.
- Il gateway di volumi archivia o memorizza nella cache i volumi di blocchi in locale, con backup point-in-time come snapshot EBS. Questi snapshot potranno poi essere ripristinati nel cloud.
AWS Direct Connect
I clienti potranno scegliere di impiegare una connessione fisica dedicata Direct Connect per accelerare i trasferimenti di rete tra il proprio data center e quello di AWS.
AWS Direct Connect consente di stabilire una connessione di rete dedicata tra la tua rete e una delle sedi di AWS Direct Connect. Grazie alle VLAN 802.1q standard di settore, la connessione dedicata può essere partizionata in diverse interfacce virtuali. In questo modo sarà possibile utilizzare la stessa connessione per accedere sia a risorse pubbliche, come gli oggetti memorizzati su Amazon S3, mediante spazio di indirizzi IP pubblico, sia a risorse private mediante spazio di indirizzi IP privato, ad esempio le istanze Amazon EC2 in esecuzione su Amazon Virtual Private Cloud (VPC), senza sacrificare la separazione di rete tra l’ambiente pubblico e quello privato. Le interfacce virtuali possono essere riconfigurate in qualsiasi momento in base alle esigenze.
Scopri i bundle per partner di AWS Direct Connect che permettono di estendere l'uso delle tecnologie in locale nel cloud.
Trasferimento di dati online
Questi servizi facilitano il trasferimento dei dati all'interno e all'esterno di AWS tramite metodi online.
AWS DataSync
AWS DataSync è un servizio di trasferimento di dati che consente di automatizzare lo spostamento di dati tra storage locale e Amazon S3, Amazon Elastic File System (Amazon EFS) o Amazon FSx for Windows File Server. Questo servizio gestisce automaticamente molte delle attività associate al trasferimento di dati e che in genere rallentano le migrazioni o appesantiscono il funzionamento dell'IT, ad esempio esecuzione di istanze personalizzate, gestione della crittografia e degli script, ottimizzazione della rete e convalida dell'integrità dei dati. DataSync può essere utilizzato per trasferire dati a velocità fino a 10 volte maggiori rispetto agli strumenti open source più utilizzati. Puoi utilizzare DataSync per copiare i dati su collegamenti AWS Direct Connect o Internet ad AWS per singole migrazioni di dati, elaborazioni ricorrenti di dati e replica automatizzata per la protezione e il ripristino dei dati.
Famiglia di servizi AWS Transfer
La famiglia di servizi AWS Transfer fornisce un supporto completamente gestito per i trasferimenti di file direttamente da e verso Amazon S3. Con il supporto per il Secure File Transfer Protocol (SFTP), il File Transfer Protocol over SSL (FTPS) e il File Transfer Protocol (FTP), AWS Transfer Family ti aiuta a migrare in modo semplice i tuoi flussi di lavoro di trasferimento di file in AWS integrandosi con i sistemi di autenticazione esistenti e fornendo instradamento DNS con Amazon Route 53, senza cambiamenti per i tuoi clienti o partner o per le loro applicazioni. Con i tuoi dati in Amazon S3, puoi usarlo con i servizi AWS per elaborazione, analisi, machine learning e archiviazione. Iniziare a usare la famiglia di servizi AWS Transfer è facile e non è necessario acquistare e configurare un’infrastruttura.
Amazon S3 Transfer Acceleration
Amazon S3 Transfer Acceleration rende più rapidi i trasferimenti di dati via Internet in Amazon S3. È possibile sfruttare al massimo la banda disponibile indipendentemente dalla distanza o dalle fluttuazioni di velocità di Internet, anche senza client speciali o protocolli di rete proprietari. È sufficiente modificare l'endpoint utilizzato con il bucket S3 per applicare automaticamente la velocità maggiorata.
Si tratta di un servizio ideale per processi ricorrenti in cui i dati vengono trasferiti su lunghe distanze, ad esempio caricamenti di file multimediali, backup e attività di elaborazione in cui i dati locali vengono regolarmente trasferiti in una sede centrale.
AWS Snowcone
AWS Snowcone è il membro più piccolo della famiglia AWS Snow di dispositivi di edge computing e trasferimento di dati. Snowcone è portatile, robusto e sicuro. Puoi utilizzare Snowcone per raccogliere, elaborare e trasferire dati ad AWS online utilizzando AWS DataSync. L'esecuzione di applicazioni in ambienti privi di connessione e in edge location connesse può essere difficile, perché queste sedi spesso non dispongono dello spazio e delle capacità di alimentazione e raffreddamento necessarie per le apparecchiature IT dei data center. AWS Snowcone archivia i dati in modo sicuro nelle edge location e può eseguire carichi di lavoro di edge computing che impiegano istanze Amazon EC2 o AWS IoT Greengrass. I dispositivi Snowcone sono piccoli e pesano 2,1 kg (4,5 libbre), permettendone il trasporto in uno zaino o la sistemazione in spazi ridotti per casi d'uso IoT, su veicoli o addirittura su droni.
Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose è il mezzo più semplice per caricare flussi di dati in AWS. È in grado di acquisire e caricare automaticamente flussi di dati in Amazon S3 e Amazon Redshift per ottenere analisi in tempo reale con gli strumenti di business intelligence e i pannelli di controllo già in uso. Si tratta di un servizio completamente gestito che ridimensiona automaticamente le risorse in base al throughput dei dati e non richiede alcuna attività di amministrazione durante il funzionamento. Inoltre può elaborare in batch, comprimere e crittografare i dati prima del caricamento, riducendo al minimo lo storage utilizzato e migliorando il livello di sicurezza. Per creare e configurare un flusso di distribuzione di Firehose bastano pochi clic nella Console di gestione AWS; in pochi minuti il servizio inizierà a inviare nel flusso i dati provenienti da centinaia di migliaia di origini dati, caricandoli senza soluzione di continuità in AWS.
Prodotti dei partner APN
AWS collabora con fornitori specializzati del settore per ottenere appliance gateway fisiche che colmino il divario tra i tradizionali servizi di backup e il cloud. È anche possibile collegare i dati locali al cloud Amazon, per procedere al trasferimento di dati senza conseguenze sulle prestazioni e conservando i cataloghi di backup esistenti.
- Integrazione ottimale con l'infrastruttura esistente
- Potranno far parte dell'offerta: deduplicazione, compressione, crittografia e accelerazione WAN
- Backup recenti memorizzati nella cache in locale, con archiviazione nei vault di AWS Cloud
Trasferimento offline dei dati
La famiglia di servizi AWS Snow semplifica l'inserimento e l'uscita dei dati da AWS tramite metodi offline.
AWS Snowcone
AWS Snowcone è il membro più piccolo della famiglia AWS Snow di dispositivi di edge computing e trasferimento di dati. Snowcone è portatile, robusto e sicuro. Puoi utilizzare Snowcone per raccogliere, elaborare e trasferire dati ad AWS offline spedendo il dispositivo. L'esecuzione di applicazioni in ambienti privi di connessione e in edge location connesse può essere difficile, perché queste sedi spesso non dispongono dello spazio e delle capacità di alimentazione e raffreddamento necessarie per le apparecchiature IT dei data center. AWS Snowcone archivia i dati in modo sicuro nelle edge location e può eseguire carichi di lavoro di edge computing che impiegano istanze Amazon EC2 o AWS IoT Greengrass. I dispositivi Snowcone sono piccoli e pesano 2,1 kg (4,5 libbre), permettendone il trasporto in uno zaino o la sistemazione in spazi ridotti per casi d'uso IoT, su veicoli o addirittura su droni.
AWS Snowball
AWS Snowball è un dispositivo di trasporto dati e edge computing su scala petabyte dotato di funzionalità di archiviazione e calcolo integrate ed è disponibile in due opzioni. Snowball Edge Storage Optimized offre storage sia di blocchi che di oggetti compatibili con Amazon S3 oltre a 40 vCPU. È ideale per storage locale e il trasferimento di dati su larga scala. Snowball Edge Compute Optimized offre 52 vCPU, storage di oggetti e di blocchi e una GPU opzionale per casi d'uso come il machine learning avanzato e l'analisi di full motion video in ambienti disconnessi. Puoi utilizzare questi dispositivi per raccogliere, elaborare in machine learning e memorizzare dati in ambienti con connessioni instabili (ad esempio nel settore manifatturiero, industriale o dei trasporti) o in località estremamente remote (ad esempio per operazioni militari o marittime) e inviare il tutto in AWS. Questi dispositivi possono anche essere montati su rack e raccolti in cluster per creare installazioni temporanee di maggiori dimensioni.
Strumenti di migrazione dei dati nel cloud non gestiti
AWS offre anche semplici strumenti con script o interfaccia a riga di comando per trasferire i dal tuo sito allo storage di AWS Cloud.
rsync
I clienti utilizzano rsync, uno strumento open source, insieme ad altri strumenti di terze parti per file system per copiare i dati direttamente in bucket S3.
Interfaccia a riga di comando di S3
L'interfaccia a riga di comando di Amazon S3 permette di scrivere comandi per trasferire i dati direttamente nei bucket S3.
Interfaccia a riga di comando di S3 Glacier
L’interfaccia a riga di comando di Amazon S3 Glacier consente ai clienti di trasferire i dati nei vault di S3 Glacier.
La sfida della migrazione dei dati nel cloud
La questione del trasferimento dei dati, nella maggior parte dei progetti, può risultare scoraggiante. Come si esegue il trasferimento dal percorso attuale al nuovo percorso nel cloud, tenendo strettamente sotto controllo errori, costi e tempi? Qual è il modo più intelligente per spostare GB, TB, a volte anche PB di dati?
Il problema di base è: quale volume di dati è possibile spostare, a quale distanza e a quale velocità? Nello scenario migliore, si può utilizzare questa formula:
Numero di giorni = (byte totali) / (megabit al secondo * 125 * 1000 * utilizzo di rete * 60 secondi * 60 minuti * 24 ore)
Se ad esempio hai a disposizione una connessione T1 (che garantisce 1,544 Mb/s) e devi trasferire 1 TB di dati (1.024 * 1.024 * 1.024 * 1.024 byte) da o verso un servizio AWS, la quantità di tempo minima necessaria per completare il trasferimento utilizzando la rete all'80% corrisponde a 82 giorni.
Non c'è da preoccuparsi. AWS sa già come fare. Per trasferire i loro dati, in genere, i clienti utilizzano strumenti di migrazione di base non gestiti oppure scelgono una delle suite di servizi di AWS indicate sopra.
Come regola generale, per ottenere i migliori risultati, AWS consiglia di procedere come segue:
| Connessione | Volume di dati | Metodo |
|---|---|---|
| Meno di 10 Mb/s | Meno di 500 GB | Strumenti non gestiti |
| Più di 10 Mb/s | Più di 500 GB | Servizio gestito |