Replicar dados dentro das regiões da AWS e entre elas usando a replicação do Amazon S3
Visão geral
A Replicação do Amazon S3 é um atributo elástico, totalmente gerenciado e de baixo custo que replica objetos entre buckets do Amazon S3. A replicação do S3 agora oferece a capacidade de replicar dados de um bucket de origem para vários buckets de destino nas mesmas regiões ou em regiões diferentes da AWS. Se você deseja manter uma cópia secundária dos dados para protegê-los, ou manter os dados em várias regiões geográficas para fornecer menor latência aos usuários, a replicação do S3 oferece os controles necessários para atender às suas necessidades de negócios. Este guia de introdução ao Amazon S3 demonstra como seguir as práticas recomendadas de replicação do S3 com Replicação do S3 na Mesma Região (S3 SRR), Replicação do S3 Entre Regiões Diferentes (S3 CRR), Controle de Tempo de Replicação do S3 (S3 RTC) e Replicação em Lote do S3.
Com a Replicação do S3 na Mesma Região (S3 SRR), você pode replicar dados entre buckets da mesma região da AWS automaticamente, para ajudar a agregar logs em um único bucket, replicá-los entre contas de desenvolvedor e de teste e cumprir as leis de soberania de dados. Com a Replicação do S3 Entre Regiões Diferentes (S3 CRR), você pode replicar objetos (e os respectivos metadados e tags de objeto) em outras regiões da AWS para conformidade, segurança, recuperação de desastres, eficiência regional e menor latência. Você também pode ativar o Controle de Tempo de Replicação do S3 (S3 RTC) para ajudá-lo a atender aos requisitos de conformidade ou de negócios para replicação de dados. O S3 RTC replica a maioria dos objetos que você carrega no Amazon S3 em segundos e 99,99% desses objetos em 15 minutos. Para replicar objetos existentes, você pode usar a Replicação em Lote do S3 para preencher um bucket recém-criado com objetos existentes, repetir objetos que antes não puderam ser replicados, migrar dados entre contas ou adicionar novos buckets ao seu data lake. Para obter mais informações sobre a replicação do S3, visite a seção Replicação de objetos no Guia do usuário do Amazon S3. Ao final deste tutorial, você será capaz de replicar dados dentro das regiões da AWS e entre elas usando a replicação do Amazon S3.
O que você aprenderá
Neste tutorial, você vai:
- Criar um bucket do S3
- Criar uma regra de replicação do S3 em seu bucket do S3
- Escolher o bucket S3 de destino
- Escolher ou criar perfis do IAM para replicação
- Especificar o tipo de criptografia (opcional)
- Escolher a classe de armazenamento S3 de destino
- Habilitar opções adicionais de replicação (opcional)
Pré-requisitos
Para concluir este tutorial, você precisa de uma conta da AWS. Acesse esta página de suporte para obter mais informações sobre como criar e ativar uma nova conta da AWS.
Experiência com a AWS
Iniciante
Tempo para conclusão
20 minutos
Custo da conclusão
Menos de USD 1 (página de preços do Amazon S3)
Requisitos
Serviços usados
Data da última atualização
17 de outubro de 2022
Implementação
Etapa 1: criar um bucket do Amazon S3
1.1 – Fazer login no console do Amazon S3
- Se você ainda não tiver feito isto, crie uma conta da AWS.
- Faça login no Console de Gerenciamento da AWS usando as informações da sua conta.
- Na barra de pesquisa de serviços do Console da AWS, digite S3. Na seção de resultados da pesquisa de serviços, selecione S3.
1.2 – Criar um bucket do S3
- Clique em Buckets no menu do Amazon S3 no painel de navegação esquerdo e, em seguida, clique no botãoCriar bucket.
1.3
- Insira um nome global descritivo e exclusivo para seu bucket. Selecione em qual Região da AWS você deseja que seu bucket seja criado. Neste exemplo, a região eu-central-1 da UE (Frankfurt) é selecionada. A replicação do S3 exige que versionamento do bucket esteja habilitado para os buckets S3 de origem e de destino. Para obter mais informações sobre versionamento, consulte Como usar o versionamento em buckets do S3.
- Você pode deixar as opções restantes como o padrão. Navegue até a parte inferior da página e escolha Criar bucket.
1.4
- Repita as etapas acima para criar outro bucket do S3 para servir como bucket de destino da replicação de objetos. Certifique-se de ativar também o versionamento de bucket para o bucket S3 de destino.
Etapa 2: criar uma replicação do S3 em seu bucket do S3
2.1 – Selecionar o bucket S3 de origem
- Na sua lista de buckets do S3, escolha o bucket do S3 que você deseja configurar como sua fonte de replicação.
2.2
Depois de selecionar o bucket do S3 de origem, o console leva você à página inicial do bucket do S3, conforme mostrado na captura de tela a seguir. Aqui, você pode revisar os objetos, as propriedades, as permissões, as métricas, o gerenciamento e os pontos de acesso do bucket do S3 selecionado.
2.3 – Criar uma regra de replicação do S3 para o bucket do S3 selecionado
- Escolha a guia Gerenciamento do bucket de origem da replicação. Em Gerenciamento, você verá as regras de replicação. Selecione Criar regra de replicação.
Etapa 3: configurar uma regra de replicação
3.1 – Habilitar a regra de replicação
- Forneça um nome de regra de replicação e habilite a regra de replicação selecionando Habilitado na seção Status. Se a regra de replicação estiver desativada, ela não será executada.
A prioridade indica qual regra tem precedência sempre que duas ou mais regras de replicação entram em conflito. Você terá a opção de editar a prioridade de cada regra de replicação na página de configuração de replicação. O Amazon S3 tenta replicar objetos de acordo com todas as regras de replicação. No entanto, se houver duas ou mais regras com o mesmo bucket de destino, os objetos serão replicados de acordo com a regra de maior prioridade. Uma regra com prioridade 1 é executada antes de uma regra com prioridade 2. Quanto menor o número, maior a prioridade. Por exemplo, digamos que você tenha uma regra de replicação para replicar todos os objetos com a tag foo1 e outra regra de replicação para replicar todos os objetos com a tag foo2. Se você tiver um objeto marcado com foo1 e foo2, ele só será replicado com a regra de replicação com maior prioridade. Quando você tem apenas uma regra de replicação direcionada para um bucket de destino, a prioridade não é considerada.
3.2 – Escolher o que replicar
- Limite o escopo da replicação definindo um Tipo de filtro (prefixo ou tags) ou opte por replicar todo o bucket. Por exemplo, se você quiser replicar somente objetos que estão no prefixo “Finanças”, especifique esse escopo. Para obter mais informações sobre como filtrar objetos para replicação, visite a documentação sobre como especificar um filtro no Guia do usuário do S3.
3.3 — Escolher o bucket S3 de destino
- Escolha o bucket de destino selecionando o botão Navegar no S3. Você pode replicar para um bucket de destino na mesma região ou em outra região da AWS e na mesma conta ou em uma conta diferente da AWS. Você precisará de dois buckets S3 diferentes para configurar a replicação, e ambos os buckets (origem e destino) devem ter o versionamento do S3 ativado. O console do S3 não oferece uma maneira de criar um novo bucket do S3 no processo de configuração da replicação. Neste exemplo, escolhemos o bucket de destino “aws-s3-replication-tutorial-destination-bucket”.
3.4 – Considerações sobre o IAM
- Ao criar novas regras de replicação a partir do mesmo bucket de origem, certifique-se de que o perfil do IAM associado a essa configuração tenha permissões suficientes para gravar novos objetos no novo bucket de destino. Você pode optar por criar um novo perfil do IAM ou selecionar um perfil existente do IAM com o conjunto certo de permissões. Para obter mais informações, consulte a documentação sobre como configurar permissões para a replicação do S3.
3.5 – Opções de criptografia (pule esta etapa se seus objetos não estiverem criptografados)
- Se seus objetos estiverem criptografados com chaves de criptografia gerenciadas pelo Amazon S3 (SSE-S3) ou pelo AWS Key Management Service (AWS KMS), você precisará especificar as opções de criptografia ao configurar a replicação. A replicação do S3 é compatível com SSE-S3 (criptografia padrão) e criptografia do lado do servidor do AWS KMS. Se você escolher a criptografia do AWS KMS, precisará fornecer as chaves do AWS KMS para descriptografar na origem e recriptografar no destino. Para economizar custos com AWS KMS, você também tem a opção de ativar as chaves de bucket do Amazon S3.
3.6 – Selecionar a classe de armazenamento S3 para seu destino
- Em seguida, você terá a opção de escolher uma classe de armazenamento S3 diferente para seus objetos replicados no bucket de destino. Considere escolher classes de armazenamento de menor custo, conforme adequado para as workloads. Por exemplo, você pode escolher a classe de armazenamento S3 Glacier Instant Retrieval se seus objetos replicados forem acessados com pouca frequência, mas precisarem ser recuperados em milissegundos, a S3 Glacier Deep Archive para arquivar dados que raramente precisam ser acessados e a S3 Intelligent-Tiering para otimizar os custos de armazenamento de dados com padrões de acesso imprevisíveis ou variáveis. Para obter mais informações, consulte a documentação sobre como usar as classes de armazenamento do Amazon S3.
3.7 – Opções adicionais de replicação
- Selecione opções adicionais de replicação, tais como habilitar o Controle de tempo de replicação do S3 (S3 RTC), as Métricas e notificações de replicação, a Exclusão da replicação do marcador e a Sincronização das modificações da réplica. O S3 RTC ajuda você a atender aos requisitos de conformidade e de negócios, pois fornece um SLA de 15 minutos para replicar 99,99% dos seus objetos. O RTC pode ser ativado junto com a Replicação do S3 entre regiões diferentes (S3 CRR) e a Replicação do S3 na mesma região (S3 SRR), tendo métricas e notificações de replicação ativadas por padrão. Para regras que não são do RTC, você tem a opção de selecionar Métricas e notificações de replicação, o qual fornece métricas detalhadas para rastrear minuto a minuto o progresso de bytes pendentes, operações pendentes e latência de replicação da regra de replicação. Ao selecionar Excluir replicação do marcador, as exclusões no bucket de origem serão replicadas no bucket de destino. Isso deve ser ativado se você quiser manter os buckets de origem e destino sincronizados, mas não se o objetivo for proteger contra exclusões acidentais ou maliciosas. Para instaurar a replicação bidirecional entre dois buckets do S3, crie regras de replicação bidirecional (de A para B e de B para A) e ative a Sincronização de modificação de réplica para as duas regras de replicação nos buckets S3 de origem e de destino. Isso ajudará você a manter os metadados do objeto, como tags, ACLs e configurações do bloqueio de objetos, sincronizados entre as réplicas e os objetos de origem.
- Analise a configuração de replicação e clique em Salvar.
Etapa 4: criar outra regra de replicação do S3 no mesmo bucket do S3 de origem para outro bucket do S3 de destino
- Repita as etapas anteriores para criar outra regra de replicação do S3 do mesmo bucket do S3 de origem para outro bucket do S3 de destino. Forneça um nome de regra de replicação e habilite a regra de replicação selecionando Habilitado na seção Status. Escolha o que replicar selecionando o escopo da regra de replicação.
- Escolha o bucket de destino selecionando o botão Navegar no S3. Neste exemplo, escolhemos o bucket de destino “ack-test-bucket-us-east-1”.
- Selecione a classe de armazenamento S3 de destino. Neste exemplo, optamos por replicar para a classe de armazenamento S3 Standard no bucket de destino.
- Selecione opções adicionais de replicação para a regra de replicação. Neste exemplo, optamos por habilitar o Controle do tempo de replicação do S3 (RTC).
Etapa 5: analisar a configuração da replicação
Depois de salvar a regra de replicação, você volta à página inicial de replicação do S3, conforme mostrado na captura de tela a seguir. Aqui, você pode revisar a configuração de replicação com todas as diferentes regras de replicação, as prioridades das regras e as opções adicionais, como criptografia e RTC.
Em seguida, faça upload de um novo objeto no bucket de origem da replicação para testar a configuração de replicação adicionada. Confirme se você vê esse objeto replicado no novo bucket de destino. As métricas de replicação podem levar alguns minutos para aparecer no console do S3.
Etapa 6: monitorar o progresso da replicação
6.1
Agora que você configurou a replicação para esse bucket, você pode rastrear métricas e notificações por destino. Abra a guia Métricas do bucket de origem.
6.2
Navegue para baixo para ver Métricas de replicação e selecione uma ou mais regras de replicação para monitorar. Clique em Exibir gráficos para ver Operações pendentes da replicação, Bytes pendentes da replicação e Latência de replicação para todas as regras de replicação.
Além disso, você pode usar o link Exibir no CloudWatch para visualizar as métricas de replicação no Amazon CloudWatch. Aqui, você tem uma visão abrangente das métricas de replicação para cada regra de replicação, bucket de origem e bucket de destino em um só lugar. Além disso, você pode reunir insights acionáveis e definir alarmes para monitorar as métricas. Para obter mais informações, consulte Como usar alarmes do Amazon CloudWatch.
Etapa 7: monitorar o status de replicação de objetos individuais
Você pode usar o Amazon S3 Inventory para auditar e gerar relatórios sobre o status de replicação dos seus objetos para necessidades regulatórias, de negócios e de conformidade. O status da replicação pode ajudá-lo a determinar o estado atual de um objeto que está sendo replicado. O status de replicação de um objeto de origem retornará Pendente, Concluído ou Falha. O status de replicação de uma réplica retornará aRéplica. Para obter mais detalhes sobre o status da replicação, consulte Como obter informações sobre o status da replicação. Para obter mais informações sobre como configurar o relatório do Amazon S3 Inventory, consulte a documentação sobre como gerenciar e analisar seus dados em escala usando o Amazon S3 Inventory e o Amazon Athena.
Etapa 8: limpar recursos
8.1 – Excluir o objeto de teste
- Se você estiver desconectado da sessão do Console de Gerenciamento da AWS, realize login novamente. Navegue até o console do S3 e selecione a opção Buckets no menu. Primeiro, você precisará excluir o objeto de teste do seu bucket de teste. Selecione o nome do bucket com o qual você estava trabalhando neste tutorial.
- Marque a caixa de seleção à esquerda do nome do objeto de teste e selecione o botão Excluir.
- Na página Excluir objetos, verifique se você selecionou o objeto correto para excluir e insira Excluir na caixa de confirmação Excluir objetos permanentemente. Em seguida, selecione o botão Excluir objeto para continuar.
- Posteriormente, será apresentada uma faixa de notificação indicando se a exclusão foi bem-sucedida.
8.2 – Excluir o bucket de teste
- Por fim, você precisa excluir os buckets de teste que criou. Retorne à lista de buckets em sua conta. Clique no botão de opção à esquerda do bucket de origem que você criou para este tutorial e depois clique em Excluir.
- Analise a mensagem de aviso. Se desejar continuar a exclusão deste bucket, digite o nome do bucket na caixa de confirmação Excluir bucket e escolha Excluir bucket.
- Repita as etapas anteriores para excluir também o bucket de destino criado como parte deste tutorial. Retorne à lista de buckets em sua conta. Clique no botão de opção à esquerda do bucket de origem que você criou para este tutorial e depois clique em Excluir.
- Analise a mensagem de aviso. Se desejar continuar a exclusão deste bucket, digite o nome do bucket na caixa de confirmação Excluir bucket e escolha Excluir bucket.
Conclusão
Parabéns! Você aprendeu a usar a replicação do S3 para replicar objetos de buckets de origem a buckets do S3 de destino em uma ou várias regiões da AWS, para atender aos requisitos de conformidade, minimizar a latência e aumentar a eficiência operacional.
A replicação do S3 é um atributo de gerenciamento de armazenamento totalmente gerenciado, de baixo custo e baseado em políticas, projetado para exigir pouca ou nenhuma intervenção manual. Recomendamos que você habilite métricas e notificações para cada regra de replicação, ative as notificações de eventos do Amazon S3 em seu bucket de origem e habilite métricas e alertas adequados do Amazon CloudWatch. Depois de habilitar, você poderá acompanhar o progresso da replicação do S3 em um ou mais buckets do S3.