Migração de dados para a nuvem
Os dados são o alicerce de implantações bem-sucedidas de aplicativos, fluxos de trabalho analíticos e inovações de machine learning. Ao mover dados para a nuvem, é preciso entender para onde eles estão sendo movidos, com base nos diferentes casos de uso, nos tipos de dados que estão sendo movidos e nos recursos de rede disponíveis, entre outras considerações. A AWS oferece uma ampla variedade de serviços e ferramentas de parceiros para ajudar você a migrar seus conjuntos de dados, sejam eles arquivos, bancos de dados, imagens de máquinas, volumes de blocos ou mesmo backups em fita.
Serviços de migração de dados para a Nuvem AWS
A AWS oferece um portfólio de serviços de transferência de dados para fornecer a solução certa para qualquer projeto de migração de dados. O nível de conectividade é um fator importante na migração de dados e a AWS tem produtos capazes de atender suas necessidades de armazenamento em nuvem híbrida, transferência de dados online e transferência de dados offline.
Armazenamento na nuvem híbrida
Muitos clientes desejam aproveitar os benefícios do armazenamento em nuvem, mas possuem aplicativos em execução no local que requerem acesso de baixa latência aos seus dados ou precisam da transferência rápida de dados para a nuvem. As arquiteturas de armazenamento na nuvem híbrida da AWS conectam seus aplicativos e sistemas executados no local para armazenamento na nuvem para ajudar você a reduzir custos, minimizar a carga de gerenciamento e inovar com seus dados.
AWS Storage Gateway
O AWS Storage Gateway simplifica a adoção local do armazenamento da AWS. O Storage Gateway permite a conexão e a ampliação simplificada dos seus aplicativos no local para o armazenamento da AWS. Os clientes usam o Storage Gateway para substituir sem problemas bibliotecas de fitas por armazenamento na nuvem, fornecer compartilhamentos de arquivos com backup na nuvem ou criar cache de baixa latência para acessar dados na AWS para aplicativos no local. O serviço oferece três tipos diferentes de gateways: gateway de arquivos, gateway de fitas e gateway de volumes.
- Os dados de arquivo do File Gateway são armazenados no Amazon S3 como objetos duráveis usando o Amazon S3 File Gateway ou em compartilhamentos de arquivos totalmente gerenciados usando o Amazon FSx File Gateway.
- A configuração da biblioteca de fita virtual (VTL) do gateway de fitas se integra perfeitamente ao seu software de backup atual para oferecer uma substituição de fita econômica no Amazon S3, além de arquivamento de longo prazo no S3 Glacier e no S3 Glacier Deep Archive.
- O gateway de volumes guarda ou armazena em cache volumes de blocos localmente, com backups pontuais como instantâneos do EBS. Esses instantâneos podem ser recuperados na nuvem.
AWS Direct Connect
O cliente seleciona uma conexão física dedicada com o Direct Connect para acelerar as transferências de rede entre seus datacenters e os da AWS.
O AWS Direct Connect permite que você estabeleça uma conexão de rede dedicada entre sua rede e um dos locais do AWS Direct Connect. Usando VLANs 802.1q padrão do setor, essa conexão dedicada pode ser particionada em várias interfaces virtuais. Isso permite usar a mesma conexão para acessar recursos públicos, como os objetos armazenados no Amazon S3 usando o espaço de endereço IP público e recursos privados, como instâncias do Amazon EC2 em execução em uma Amazon Virtual Private Cloud (VPC) usando o espaço IP privado, ao mesmo tempo mantendo a separação entre os ambientes públicos e privados da rede. As interfaces virtuais podem ser reconfiguradas a qualquer momento para atender às suas necessidades em constante mudança.
Explore nossos Pacotes de parceiro do AWS Direct Connect que ajudam a estender as tecnologias no local para a nuvem.
Transferência de dados online
Esses serviços simplificam e facilitam a transferência de dados de e para a AWS on-line.
AWS DataSync
O AWS DataSync é um serviço de transferência de dados que facilita a automatização da movimentação de dados entre o armazenamento local e o Amazon S3, o Amazon Elastic File System (Amazon EFS) ou o Amazon FSx for Windows File Server. O DataSync processa automaticamente muitas das tarefas relacionadas a transferências de dados que podem retardar as migrações ou sobrecarregar as operações de TI, como executar suas próprias instâncias, processar criptografia, gerenciar scripts, otimizar redes e validar integridade de dados. Você pode usar o DataSync para transferir dados online com velocidade até 10 vezes maior que as ferramentas de código aberto. Você pode usar o DataSync para copiar dados por meio do AWS Direct Connect ou links da Internet para a AWS para migrações de dados ocasionais, fluxos de trabalho recorrentes de processamento de dados e replicação automatizada para proteção e recuperação de dados.
AWS Transfer Family
A Família do AWS Transfer oferece suporte totalmente gerenciado para transferência de arquivos direta de e para o Amazon S3. Compatível com Secure File Transfer Protocol (SFTP), File Transfer Protocol over SSL (FTPS), e File Transfer Protocol (FTP), a Família do AWS Transfer ajuda você a migrar facilmente fluxos de trabalho de transferência de arquivos para a AWS por meio da integração com sistemas de autenticação atuais e da disponibilização do roteamento de DNS com o Amazon Route 53. Assim, tudo permanece igual para os seus clientes, os seus parceiros e os aplicativos deles. Com seus dados no Amazon S3, você pode usá-los com serviços da AWS para processamento, análise, machine learning e arquivamento. É fácil começar a usar a Família do AWS Transfer: não há infraestrutura para comprar nem configurar.
Amazon S3 Transfer Acceleration
O Amazon S3 Transfer Acceleration acelera as transferências da Internet pública para o Amazon S3. Você pode maximizar sua largura de banda disponível independentemente da distância ou condições variáveis da Internet, e não há qualquer protocolo especial de rede do cliente ou proprietário. Basta mudar o endpoint que você usa com o bucket do S3 e a aceleração é aplicada automaticamente.
Isso é ideal para trabalhos recorrentes que viajam pelo mundo, como uploads de mídia, backups e tarefas de processamento de dados locais enviados com frequência para um local central.
AWS Snowcone
O AWS Snowcone é o menor membro da Família AWS Snow de dispositivos de computação de borda e transferência de dados. O Snowcone é portátil, robusto e seguro. Você pode usar o Snowcone para coletar, processar e mover dados para a AWS on-line com o AWS DataSync. A execução de aplicativos em ambientes desconectados e em pontos de presença conectados pode ser desafiadora, porque esses locais geralmente carecem de espaço, energia e refrigeração necessários para o equipamento de TI do data center. O AWS Snowcone armazena dados com segurança em pontos de presença e pode executar cargas de trabalho de computação de borda que usam instâncias do AWS IoT Greengrass ou Amazon EC2. Os dispositivos Snowcone são pequenos e pesam 2,1 Kg (4,5 libras), para que você possa transportar um em uma mochila ou ajustá-lo em espaços reduzidos para casos de uso de IoT, veículos ou até drones.
Amazon Kinesis Data Firehose
O Amazon Kinesis Data Firehose é o modo mais fácil de carregar dados de streaming na AWS. Ele captura e carrega automaticamente dados em streaming no Amazon S3 e no Amazon Redshift, permitindo uma análise em tempo real usando as ferramentas e painéis de inteligência de negócios atuais que você já utiliza. É um serviço gerenciado que escala automaticamente para acompanhar o throughput dos dados e não exige uma administração contínua. Ele pode separar em lotes, compactar e criptografar os dados antes de carregá-los, o que minimiza o volume de armazenamento usado no destino e aumenta a segurança. Você pode criar facilmente um stream de distribuição do Firehose no Console de Gerenciamento da AWS, configurá-lo com alguns cliques e começar a enviar dados para o stream de centenas de milhares de fontes de dados para serem carregados continuamente na AWS – tudo isso em poucos minutos.
Produtos de parceiros do APN
A AWS firmou parceria com vários fornecedores do setor de dispositivos de gateway físico para contornar o desnível entre o backup tradicional e a nuvem. Vincule os dados no local à nuvem da Amazon para fazer a mudança sem prejudicar a performance e preservar os catálogos de backup atuais.
- Integra-se diretamente à infraestrutura existente
- Pode oferecer desduplicação, compressão, criptografia ou aceleração da WAN
- Armazene backups recentes localmente em cache, proteja tudo na Nuvem AWS
Transferência de dados offline
A Família AWS Snow simplifica o envio e a obtenção de dados de e para a AWS por métodos offline.
AWS Snowcone
O AWS Snowcone é o menor membro da Família AWS Snow de dispositivos de computação de borda e transferência de dados. O Snowcone é portátil, robusto e seguro. Você pode usar o Snowcone para coletar, processar e mover dados para a AWS offline ao enviar o dispositivo. A execução de aplicativos em ambientes desconectados e em pontos de presença conectados pode ser desafiadora, porque esses locais geralmente carecem de espaço, energia e refrigeração necessários para o equipamento de TI do data center. O AWS Snowcone armazena dados com segurança em pontos de presença e pode executar cargas de trabalho de computação de borda que usam instâncias do AWS IoT Greengrass ou Amazon EC2. Os dispositivos Snowcone são pequenos e pesam 2,1 Kg (4,5 libras), para que você possa transportar um em uma mochila ou ajustá-lo em espaços reduzidos para casos de uso de IoT, veículos ou até drones.
AWS Snowball
O AWS Snowball é um dispositivo de transporte de dados e de computação de borda na escala de petabytes que é fornecido com recursos de armazenamento e computação integrados, disponível em duas opções. Os dispositivos do Snowball Edge Storage Optimized fornecem armazenamento de blocos e armazenamento de objetos compatível com o Amazon S3, além de 40 vCPUs. Ele é ideal para armazenamento local e transferência de dados em larga escala. O Snowball Edge Compute Optimized fornece 52 vCPUs, armazenamento de blocos e objetos e uma GPU opcional para casos de uso, como machine learning avançado e análise de vídeos animados em ambientes desconectados. Os clientes usam esses dispositivos para coleta de dados, processamento, machine learning e armazenamento em ambientes com conectividade intermitente (como fabricação, indústria e transporte) ou em locais extremamente remotos (como operações militares e marinhas) antes de enviá-los de volta à AWS. Esses dispositivos também podem ser montados em rack e agrupados em cluster para criar instalações temporárias maiores.
Ferramentas não gerenciadas de migração de dados para a nuvem
A AWS também oferece ferramentas de ILC ou de script fácil para mover dados do seu site para o armazenamento na nuvem AWS.
rsync
Os clientes usam rsync, uma ferramenta de código aberto com ferramentas de sistema de arquivos terceirizadas para copiar dados diretamente para os buckets do S3.
Interface da linha de comando do S3
Os clientes usam a CLI do Amazon S3 para desenvolver comandos e transferir dados diretamente para buckets do S3.
Interface da linha de comando do S3 Glacier
Os clientes usam a ILC do Amazon S3 Glacier para mover dados para os cofres do S3 Glacier.
O desafio da migração de dados para a nuvem comum
As realidades desafiadoras do transporte de dados aplicam-se à maioria dos projetos. Como você muda tranquilamente do seu local atual para a sua nova nuvem, com o mínimo de interrupções, de custo e de tempo? Qual é a maneira mais inteligente de mover, realmente, seus GB, TB ou PB de dados?
É um problema subjacente básico: que quantidade de dados pode ser movida e a que velocidade? Para obter o melhor cenário, use esta fórmula:
Número de dias = (Total de bytes)/(Megabits por segundo * 125 * 1000 * Utilização da rede * 60 segundos * 60 minutos * 24 horas)
Por exemplo, se houver uma conexão T1 (1,544 Mbps) e 1 TB (1024 * 1024 * 1024 * 1024 bytes) para mover para dentro ou para fora da AWS, o período mínimo teórico que demoraria para transferir a carga pela conexão da rede com uma utilização de rede de 80% seria de 82 dias.
Relaxe. Nós já fizemos isso antes. Descobrimos que os clientes abordam essa questão de duas maneiras: eles usam ferramentas de migração não gerenciadas muito básicas para mover dados ou selecionam um dos conjuntos de serviços da AWS mencionados acima.
Como regra geral, para obter os melhores resultados, sugerimos:
| Conexão | Escala de dados | Método |
|---|---|---|
| Menos de 10 Mbps | Menos de 500 GB | Não gerenciado |
| Mais de 10 Mbps | Mais de 500 GB | Serviço gerenciado |