Mise en route / Ateliers / …
Répliquer les données d'une région et les données entre les régions AWS en utilisant la réplication Amazon S3
Présentation
La réplication Amazon S3 est une fonctionnalité élastique, entièrement gérée et peu coûteuse qui réplique les objets entre les compartiments Amazon S3. La réplication S3 vous permet de répliquer les données d'un compartiment source vers plusieurs compartiments de destination dans la même région AWS ou dans différentes régions AWS. Que vous souhaitiez conserver une copie secondaire de vos données à des fins de protection ou que vos données soient réparties sur plusieurs sites géographiques afin d'offrir aux utilisateurs la latence la plus faible possible, la réplication S3 vous offre les contrôles dont vous avez besoin pour répondre aux besoins de votre entreprise. Ce guide de démarrage Amazon S3 explique comment suivre les meilleures pratiques de réplication S3 avec la réplication S3 dans la même région (SRR), la réplication entre régions S3 (CRR), le contrôle du temps de réplication S3 (S3 RTC) et la réplication par lots S3.
Avec la réplication S3 dans la même région (SRR), vous pouvez répliquer automatiquement les données entre les compartiments d'une même région AWS pour regrouper les journaux dans un seul compartiment, répliquer entre les comptes de développement et de test, et respecter les lois sur la souveraineté des données. Grâce à la réplication entre régions S3 (CRR), vous pouvez répliquer des objets (ainsi que leurs métadonnées et balises d'objet respectives) dans toutes les régions AWS pour une latence réduite, de la conformité, de la sécurité, la reprise après sinistre et l'efficacité régionale. Vous pouvez également activer le contrôle du temps de réplication S3 (S3 RTC) pour vous aider à répondre aux exigences de conformité ou d'entreprise en matière de réplication des données. S3 RTC réplique la plupart des objets que vous chargez sur Amazon S3 en quelques secondes et 99,99 % de ces objets en 15 minutes. Pour répliquer des objets existants, vous pouvez utiliser la réplication par lots S3 pour remplir un compartiment nouvellement créé avec des objets existants, réessayer des objets qui étaient auparavant incapables de se répliquer, migrer des données entre comptes ou ajouter de nouveaux compartiments à votre lac de données. Pour plus d'informations sur la réplication S3, consultez la section Réplication d'objets du Guide de l'utilisateur Amazon S3. À la fin de ce didacticiel, vous serez en mesure de répliquer des données au sein et entre des régions AWS à l'aide de la réplication Amazon S3.
Votre projet
Dans ce didacticiel, vous allez :
- créer un compartiment S3 ;
- créer une règle de réplication S3 sur votre compartiment S3 ;
- choisir un compartiment S3 de destination ;
- choisir ou créer des rôles IAM pour la réplication ;
- spécifier le type de chiffrement (facultatif) ;
- choisir la classe de stockage S3 de destination ;
- activer des options de réplication supplémentaires (facultatif).
Conditions préalables
Pour suivre ce didacticiel, vous devez disposer d'un compte AWS. Accédez à cette page de support pour plus d'informations sur la procédure de création et d'activation d'un nouveau compte AWS.
Expérience AWS
Débutant
Durée
20 minutes
Coût
Moins de 1 USD (page de tarification Amazon S3)
Éléments requis
Services utilisés
Date de la dernière mise à jour
17 octobre 2022
Implémentation
Étape 1 : création d'un compartiment Amazon S3
1.1 – Se connecter à la console Amazon S3
- Si vous ne l'avez pas encore fait, créez un compte AWS.
- Connectez-vous à la Console de gestion AWS en utilisant les informations de votre compte.
- Dans la barre de recherche des services de la console AWS, saisissez S3. Dans la section des résultats de recherche des services, sélectionnez S3.
1.2 — Créer un compartiment S3
- Choisissez Compartiments dans le volet de navigation de gauche du menu Amazon S3, puis choisissez le bouton Créer un compartiment.
1.3
- Saisissez un nom descriptif et unique au niveau mondial pour votre compartiment. Sélectionnez la région AWS dans laquelle vous souhaitez que votre compartiment soit créé. Pour cet exemple, la région UE (Francfort) eu-central-1 est sélectionnée. La réplication S3 nécessite l'activation de la gestion des versions du compartiment pour les compartiments S3 source et destination. Pour plus d'informations sur la gestion des versions, veuillez consulter la rubrique Utilisation de la gestion des versions dans les compartiments S3.
- Vous pouvez laisser les autres options par défaut. Accédez au bas de la page et choisissez Créer un compartiment.
1.4
- Répétez les étapes ci-dessus pour créer un autre compartiment S3 qui servira de compartiment de destination pour la réplication des objets. Veillez à activer également la gestion des versions du compartiment pour le compartiment S3 de destination.
Étape 2 : création une réplication S3 sur votre compartiment S3
2.1 – Sélectionner le compartiment S3 source
- Dans votre liste de compartiments S3, choisissez le compartiment S3 que vous souhaitez configurer comme source de réplication.
2.2
Une fois que vous avez sélectionné le compartiment S3 source, la console vous amène à la page d'accueil du compartiment S3, comme le montre la capture d'écran suivante. Ici, vous pouvez consulter les objets, les propriétés, les autorisations, les métriques, la gestion et les points d'accès du compartiment S3 sélectionné.
2.3 – Créer une règle de réplication S3 pour le compartiment S3 sélectionné
- Sélectionnez l'onglet Gestion du compartiment source de réplication. Sous Gestion, vous verrez les règles de réplication. Sélectionnez Créer une règle de réplication.
Étape 3 : configuration d'une règle de réplication
3.1 – Activer la règle de réplication
- Indiquez un nom de règle de réplication et activez la règle de réplication en sélectionnant Activé dans la section Statut. Si la règle de réplication est désactivée, elle ne sera pas exécutée.
Priority (Priorité) indique quelle règle est prioritaire en cas de conflit entre deux ou plusieurs règles de réplication. Vous aurez la possibilité de modifier la priorité de chaque règle de réplication sur la page de configuration de la réplication. Amazon S3 tente de répliquer les objets conformément à toutes les règles de réplication. Toutefois, s'il existe deux règles ou plus avec le même compartiment de destination, les objets sont répliqués en fonction de la règle ayant la priorité la plus élevée. Une règle de priorité 1 est exécutée avant une règle de priorité 2. Plus le nombre est bas, plus la priorité est élevée. Par exemple, supposons que vous ayez une règle de réplication pour répliquer tous les objets avec l'étiquette foo1 et une autre règle de réplication pour répliquer tous les objets avec l'étiquette foo2. Si vous avez un objet étiqueté avec foo1 et foo2, il ne sera répliqué qu'avec la règle de réplication ayant la priorité la plus élevée. Lorsque vous n'avez qu'une seule règle de réplication allant vers un compartiment de destination, la priorité n'est pas prise en compte.
3.2 – Choisir ce que vous voulez répliquer
- Limitez l'étendue de la réplication en définissant un type de filtre (préfixe ou balises), ou choisissez de répliquer l'ensemble du compartiment. Par exemple, si vous souhaitez répliquer uniquement les objets du préfixe « Finance », indiquez cette portée. Pour plus d'informations sur le filtrage des objets pour la réplication, consultez la documentation sur la spécification d'un filtre dans le guide de l'utilisateur S3.
3.3 – Choisir le compartiment S3 de destination
- Choisissez le compartiment de destination en sélectionnant le bouton Browse S3 (Parcourir S3). Vous pouvez répliquer vers un compartiment de destination dans la même région AWS ou dans une région différente, et dans le même compte AWS ou dans un compte différent. Notez que vous aurez besoin de deux compartiments S3 différents pour configurer la réplication, et que les deux compartiments (source et destination) doivent avoir la gestion des versions S3 activée. La console S3 ne permet pas de créer un nouveau compartiment S3 au cours du processus de configuration de la réplication. Dans cet exemple, nous avons choisi le compartiment de destination « aws-s3-replication-tutorial-destination-bucket ».
3.4 – Considérations relatives à IAM
- Lorsque vous créez de nouvelles règles de réplication à partir du même compartiment source, assurez-vous que le rôle IAM associé à cette configuration dispose d'autorisations suffisantes pour écrire de nouveaux objets dans le nouveau compartiment de destination. Vous pouvez choisir de créer un nouveau rôle IAM ou de sélectionner un rôle IAM existant avec le bon ensemble de permissions. Pour plus d'informations, voir la documentation sur la configuration des autorisations pour la réplication S3.
3.5 – Options de chiffrement (Ignorez cette étape si vos objets ne sont pas chiffrés)
- Si vos objets sont chiffrés avec des clés de chiffrement gérées par Amazon S3 (SSE-S3) ou AWS Key Management Service (AWS KMS), vous devrez spécifier les options de chiffrement lors de la configuration de la réplication. La réplication S3 prend en charge le chiffrement SSE-S3 (chiffrement par défaut) et le chiffrement côté serveur AWS KMS. Si vous choisissez le chiffrement AWS KMS, vous devrez fournir les clés AWS KMS pour déchiffrer à la source et rechiffrer à la destination. Pour économiser sur les coûts liés à AWS KMS, vous avez également la possibilité d'activer les clés de compartiment Amazon S3.
3.6 – Sélectionner la classe de stockage S3 pour votre destination
- Ensuite, vous aurez la possibilité de choisir une classe de stockage S3 différente pour vos objets répliqués dans le compartiment de destination. Envisagez de choisir des classes de stockage moins coûteuses en fonction de vos charges de travail. Par exemple, vous pouvez choisir la classe de stockage S3 Glacier Instant Retrieval si vos objets répliqués sont rarement consultés mais doivent être récupérés en quelques millisecondes, S3 Glacier Deep Archive pour archiver les données auxquelles il est rarement nécessaire d'accéder, et S3 Intelligent-Tiering pour optimiser les coûts de stockage des données dont les schémas d'accès sont imprévisibles ou changeants. Pour plus d'informations, consultez la documentation sur l'utilisation des classes de stockage Amazon S3.
3.7 – Options de réplication supplémentaires
- Choisissez des options de réplication supplémentaires, telles que l'activation du contrôle du temps de réplication S3 (S3 RTC), des métriques et notifications de réplication, de la suppression de la réplication des marqueurs, et de la synchronisation des modifications du réplica. S3 RTC vous aide à respecter les exigences en matière de conformité et d'activité, car il offre un accord de niveau de service de 15 minutes pour répliquer 99,99 % de vos objets. Le RTC peut être activé en même temps que la réplication interrégionale S3 (S3 CRR) et la réplication S3 sur une même région (S3 SRR), et les métriques de réplication et les notifications sont activées par défaut. Pour les règles non RTC, vous avez la possibilité de sélectionner les métriques et notifications de réplication, qui fournissent des métriques détaillées permettant de suivre minute par minute la progression des octets en attente, des opérations en attente et de la latence de réplication pour la règle de réplication. La sélection de la réplication du marqueur de suppression signifie que les suppressions effectuées dans le compartiment source seront répliquées dans le compartiment de destination. Cette option doit être activée si vous souhaitez que les compartiments source et destination soient synchronisés, mais pas si votre objectif est de vous protéger contre les suppressions accidentelles ou malveillantes. Pour établir une réplication bidirectionnelle entre deux compartiments S3, créez des règles de réplication bidirectionnelles (A vers B et B vers A) et activez la synchronisation des modifications du réplica pour les deux règles de réplication dans les compartiments S3 source et destination. Cela vous aidera à conserver les métadonnées des objets, telles que les balises, les ACL et les paramètres d'Object Lock, synchronisées entre les répliques et les objets sources.
- Examinez la configuration de la réplication et cliquez sur Enregistrer.
Étape 4 : création d'une autre règle de réplication S3 sur le même compartiment S3 source vers un autre compartiment S3 de destination
- Répétez les étapes précédentes pour créer une autre règle de réplication S3 à partir du même compartiment S3 source vers un autre compartiment S3 de destination. Indiquez un nom de règle de réplication et activez la règle de réplication en sélectionnant Activé dans la section Statut. Choisissez ce qui doit être répliqué en choisissant l'étendue de la règle de réplication.
- Choisissez le compartiment de destination en sélectionnant le bouton Browse S3 (Parcourir S3). Dans cet exemple, nous avons choisi le compartiment de destination « ack-test-bucket-us-east-1 ».
- Sélectionnez la classe de stockage S3 de destination. Dans cet exemple, nous avons choisi de répliquer vers la classe de stockage S3 Standard dans le compartiment de destination.
- Sélectionnez Options de réplication supplémentaires pour la règle de réplication. Dans cet exemple, nous avons choisi d'activer le contrôle du temps de réplication S3 (RTC).
Étape 5 : examen de la configuration de la réplication
Une fois que vous avez enregistré la règle de réplication, vous revenez à la page d'accueil de la réplication S3, comme le montre la capture d'écran suivante. Ici, vous pouvez revoir la configuration de la réplication avec toutes les différentes règles de réplication, les priorités des règles et les options supplémentaires, telles que le chiffrement et le RTC.
Ensuite, chargez un nouvel objet dans le compartiment source de réplication pour tester la configuration de réplication nouvellement ajoutée. Confirmez que l'objet est répliqué dans le nouveau compartiment de destination. Les métriques de réplication peuvent prendre quelques minutes avant d'apparaître dans la console S3.
Étape 6 : contrôle de la progression de la réplication
6.1
Maintenant que vous avez configuré la réplication pour ce compartiment, vous pouvez suivre les métriques et les notifications par destination. Ouvrez l'onglet Métriques pour le compartiment source.
6.2
Naviguez vers le bas pour afficher Métriques de réplication et sélectionnez une ou plusieurs règles de réplication à surveiller. Choisissez Afficher les graphiques pour afficher Opérations en attente de réplication, Octets en attente de réplication et Latence de réplication pour toutes les règles de réplication.
En outre, vous pouvez utiliser le lien Afficher dans CloudWatch pour afficher les métriques de réplication sur Amazon CloudWatch. Ici, vous pouvez obtenir une vue complète des métriques de réplication pour chaque règle de réplication, compartiment source et compartiment de destination en un seul endroit. En outre, vous pouvez obtenir des informations exploitables et définir des alarmes pour surveiller les paramètres. Pour plus d'informations, consultez Utilisation des alarmes Amazon CloudWatch.
Étape 7 : contrôle de l'état de la réplication pour des objets individuels
Vous pouvez utiliser Amazon S3 Inventory pour auditer et établir des rapports sur l'état de réplication de vos objets pour les besoins commerciaux, de conformité et réglementaires. L'état de la réplication peut vous aider à déterminer l'état actuel d'un objet répliqué. L'état de réplication d'un objet source renvoie la valeur Pending (En attente), Completed (Terminé) ou Failed (Échoué). L'état de réplication d'un réplica renvoie la mention Réplica. Pour plus de détails sur l'état de la réplication, consultez la section Obtenir des informations sur l'état de la réplication. Pour plus d'informations sur la configuration du rapport d'inventaire Amazon S3, consultez la documentation sur la gestion et l'analyse de vos données à grande échelle à l'aide d'Amazon S3 Inventory et d'Amazon Athena.
Étape 8 : nettoyage des ressources
8.1 – Supprimer l'objet de test
- Si vous vous êtes déconnecté de votre session de console de gestion AWS, reconnectez-vous. Accédez à la console S3 et sélectionnez l'option de menu Compartiments. Tout d'abord, vous devez supprimer l'objet de test dans votre compartiment de test. Sélectionnez le nom du compartiment que vous avez utilisé dans le cadre de ce didacticiel.
- Cochez la case située à gauche du nom de votre objet de test, puis choisissez le bouton Supprimer.
- Sur la page Supprimer les objets, vérifiez que vous avez sélectionné le bon objet à supprimer, puis saisissez Supprimer dans la case de confirmation Supprimer définitivement les objets. Puis, choisissez le bouton Delete object (Supprimer l'objet) pour continuer.
- Ensuite, une bannière vous indique si la suppression a réussi.
8.2 – Supprimer le compartiment de test
- Pour finir, vous devez supprimer les compartiments de test que vous avez créés. Retournez à la liste des compartiments de votre compte. Sélectionnez le bouton radio à gauche du compartiment source que vous avez créé dans le cadre de ce didacticiel, puis choisissez le bouton Supprimer.
- Consultez le message d'avertissement. Si vous souhaitez poursuivre la suppression de ce compartiment, saisissez-en le nom dans la case de confirmation Supprimer le compartiment, puis sélectionnez Supprimer le compartiment.
- Répétez les étapes précédentes pour supprimer également le compartiment de destination créé dans le cadre de ce didacticiel. Retournez à la liste des compartiments de votre compte. Sélectionnez le bouton radio à gauche du compartiment source que vous avez créé dans le cadre de ce didacticiel, puis choisissez le bouton Supprimer.
- Consultez le message d'avertissement. Si vous souhaitez poursuivre la suppression de ce compartiment, saisissez-en le nom dans la case de confirmation Supprimer le compartiment, puis sélectionnez Supprimer le compartiment.
Conclusion
Félicitations ! Vous avez appris à utiliser la réplication S3 pour répliquer des objets de la source aux compartiments S3 de destination dans une ou plusieurs régions AWS afin de répondre aux exigences de conformité, de minimiser la latence et d'accroître l'efficacité opérationnelle.
La réplication S3 est une fonctionnalité de gestion du stockage entièrement gérée, peu coûteuse et basée sur des stratégies, conçue pour ne nécessiter que peu ou pas d'intervention manuelle. Nous vous recommandons d'activer les métriques et les notifications pour chaque règle de réplication, d'activer les notifications d'événements Amazon S3 sur votre compartiment source et d'activer les métriques et les alertes Amazon CloudWatch appropriées. Une fois cette option activée, vous pourrez suivre la progression de la réplication S3 vers un ou plusieurs compartiments S3.