Répliquer les objets existants dans vos compartiments Amazon S3 avec la réplication par lots Amazon S3

2.1 Dans votre liste de compartiments S3, choisissez votre compartiment S3 source. La console vous amène à la page d'accueil du compartiment S3.

2.2 Sur la page d'accueil du compartiment S3, vous pouvez consulter les objets, les propriétés, les autorisations, les mesures, la gestion et les points d'accès du compartiment S3 sélectionné.

Dans l'onglet Gestion, sous Règles de réplication, sélectionnez Créer une règle de réplication.

2.3 Saisissez un Nom de règle de réplication et assurez-vous que l'option Activé est sélectionnée dans la section Statut. Si la règle de réplication est désactivée, elle ne sera pas exécutée.

REMARQUE : Amazon S3 tente de répliquer les objets conformément à toutes les règles de réplication. Toutefois, s'il existe deux règles ou plus avec le même compartiment de destination, les objets sont répliqués en fonction de la règle ayant la priorité la plus élevée. Plus le nombre est bas, plus la priorité est élevée. Vous pouvez modifier la priorité de chaque règle de réplication sur la page de configuration de la réplication.  

2.4 Limitez l'étendue de la réplication en définissant un Type de filtre (préfixe ou balises), ou choisissez de répliquer l'ensemble du compartiment. Par exemple, si vous souhaitez répliquer uniquement les objets comprenant le préfixe Finance, indiquez cette étendue. Pour plus d'informations sur le filtrage des objets pour la réplication, reportez-vous à la documentation sur la spécification d'un filtre dans le Guide de l'utilisateur S3.

2.5 Choisissez le compartiment de destination que vous avez créé en sélectionnant le bouton Parcourir S3 et en saisissant le nom complet du compartiment.

Vous ne pouvez pas créer de nouveau compartiment S3 pendant le processus de configuration de la réplication.

2.6 Lorsque vous créez de nouvelles règles de réplication à partir du même compartiment source, assurez-vous que le rôle AWS Identity and Access Management (IAM) associé à cette configuration dispose d'autorisations suffisantes pour écrire de nouveaux objets dans le nouveau compartiment de destination. Vous pouvez choisir de créer un nouveau rôle IAM ou de sélectionner un rôle IAM existant avec le bon ensemble de permissions. Pour plus d'informations, voir la documentation sur la configuration des autorisations pour la réplication S3.

2.7 (Facultatif) Si vos objets sont chiffrés avec des clés de chiffrement gérées par Amazon S3 (SSE-S3) ou AWS Key Management Service (AWS KMS),spécifiez les options de chiffrement. La réplication S3 prend en charge le chiffrement SSE-S3 (chiffrement par défaut), le chiffrement côté serveur AWS KMS (SSE-KMS) et le chiffrement côté serveur avec des clés fournies par le client (SSE-C). Si vous choisissez le chiffrement AWS KMS, fournissez les clés AWS KMS pour déchiffrer dans le compartiment source et chiffrer de nouveau dans le compartiment de destination. Pour économiser sur les coûts liés à AWS KMS, vous pouvez activer les clés de compartiment Amazon S3.

2.8 (Facultatif) Choisissez une classe de stockage S3 pour vos objets répliqués dans le compartiment de destination. Envisagez de choisir des classes de stockage moins coûteuses en fonction de vos charges de travail. Par exemple, vous pouvez choisi Intelligent-Tiering pour optimiser les coûts de stockage des données dont les schémas d'accès sont imprévisibles ou changeants, Glacier Instant Retrieval si vos objets répliqués sont rarement consultés mais doivent être récupérés en quelques millisecondes, ou Glacier Deep Archive pour archiver les données auxquelles il est rarement nécessaire d'accéder. Pour plus d'informations, reportez-vous à la section Utilisation des classes de stockage Amazon S3.

2.9 Choisissez les options de réplication supplémentaires dont vous avez besoin :

• Contrôle du temps de réplication (RTC) : S3 RTC vous aide à respecter les exigences en matière de conformité et d'activité, car il offre un accord de niveau de service de 15 minutes pour répliquer 99,99 % de vos objets. Vous pouvez activer S3 RTC ainsi que S3 CRR et S3 SRR. Les métriques de notifications et de réplication sont activées par défaut.

• Métriques de notifications et de réplications : pour les règles non RTC, vous avez la possibilité de sélectionner les métriques et notifications de réplication, qui fournissent des mesures détaillées permettant de suivre minute par minute la progression des octets en attente, des opérations en attente, des opérations échouées et de la latence de réplication pour la règle de réplication.

• Réplication du marqueur de suppression : la sélection de la réplication du marqueur de suppression signifie que les suppressions effectuées dans le compartiment source seront répliquées dans le compartiment de destination. Cette option doit être activée si vous souhaitez que les compartiments source et destination soient synchronisés, mais pas si votre objectif est de vous protéger contre les suppressions accidentelles ou malveillantes.

• Synchronisation des modifications du réplica : pour établir une réplication bidirectionnelle entre deux compartiments S3, créez des règles de réplication bidirectionnelles (A vers B et B vers A) et activez la synchronisation des modifications du réplica pour les règles de réplication dans les compartiments S3 source et destination. Cela vous aidera à conserver les métadonnées des objets, telles que les balises, les ACL et les paramètres de verrouillage des objets, synchronisées entre les répliques et les objets sources.

S3 RTC, les métriques et notifications de réplication, et la synchronisation des modifications du réplica ne sont pas prises en charge lors de la réplication d'objets existants avec la réplication par lots S3.

Lorsque vous avez configuré la réplication, choisissez Enregistrer.  

2.10 Lorsque vous créez la première règle d'une nouvelle configuration de réplication pour votre compartiment S3 ou que vous ajoutez une nouvelle Région AWS de destination à une configuration existante, vous avez la possibilité d'activer la réplication d'objets existants pour cette règle de réplication. Pour répliquer les objets existants, choisissez Oui, répliquer les objets existants, puis choisissez Soumettre.

La console vous amène à la page Créer une tâche d'opérations par lots.

3.1 Définissez les options d'exécution des tâches. Si vous souhaitez que la tâche de réplication par lots S3 soit exécutée immédiatement, vous pouvez choisir Exécuter automatiquement la tâche lorsqu'elle est prête. Si vous souhaitez attendre d'exécuter la tâche lorsqu'elle sera prête, vous pouvez enregistrer le manifeste Opérations par lots pour consulter la liste des objets à répliquer.

3.2 Définir les options du manifeste Opérations par lots. Le fichier manifeste généré par Amazon S3 utilise le même compartiment source, le même préfixe et les mêmes balises que votre configuration de réplication afin de répertorier toutes les versions éligibles de vos objets pour la réplication. Nous vous recommandons de toujours choisir l'option Enregistrer le manifeste Opérations par lots afin de pouvoir consulter la liste d'objets avant le début de la réplication. Vous pouvez enregistrer le manifeste dans le même compte AWS ou dans un compte différent, mais le fichier manifeste doit être stocké dans la même Région AWS que le compartiment source.

Dans cet exemple, nous avons choisi le compartiment « aws-s3-tutorial-batch-replication-manifest-destination » pour enregistrer le fichier manifeste, qui se trouve dans le même compte AWS que le compartiment source.

3.3 Pour plus de sécurité, chiffrez le fichier manifeste à l'aide de clés gérées Amazon S3 (SSE-S3) ou d'une clé AWS Key Management Service (SS3-KMS).

3.4 Tant que les opérations par lots S3 traitent avec succès au moins un objet, Amazon S3 génère un rapport d'achèvement après la fin, l'échec ou l'annulation de la tâche de réplication par lots. Le rapport d'achèvement contient des informations supplémentaires pour chaque tâche, notamment le nom et la version de la clé de l'objet, le statut, les codes d'erreur et la description des erreurs. Nous vous recommandons de sélectionner Générer un rapport d'achèvement pour Toutes les tâches afin de pouvoir consulter le statut de tous les objets répliqués avec cette tâche. Pour des exemples de rapports d'achèvement, consultez Exemples : rapports d'achèvement des opérations par lots S3.

3.5 Assurez-vous que le rôle IAM associé à cette tâche de réplication par lots dispose des autorisations suffisantes pour effectuer des opérations par lots S3 en votre nom. Pour plus d'informations, consultez la documentation sur la configuration des politiques IAM pour la réplication par lots et l'octroi d'autorisations pour les opérations par lot Amazon S3.

Passez en revue la configuration et sélectionnez Enregistrer.

Vous êtes redirigé vers la page d'accueil Opérations par lots.

3.6 Sélectionnez l'identifiant de votre nouvelle tâche pour en revoir la configuration. Vous pouvez également suivre le statut de la tâche de réplication par lots.

4.1 Dans le volet de navigation gauche de la page d'accueil de la console, choisissez Opérations par lots, puis Créer une tâche.

4.2 Sur la page Créer une tâche, sélectionnez la Région AWS dans laquelle vous souhaitez créer votre tâche de réplication par lots. Vous devez créer la tâche dans la même Région AWS que celle dans laquelle se trouve le compartiment S3 source.

4.3 Fournissez la liste des objets à répliquer. Vous pouvez ajouter un manifeste généré par l'utilisateur sous la forme d'un rapport d'inventaire Amazon S3 ou d'un fichier CSV. Le manifeste doit contenir toutes les versions de l'objet qui doivent être répliquées. Amazon S3 peut également générer un manifeste pour vous en utilisant la configuration de réplication S3 existante dans le compartiment source.

REMARQUE : dans cet exemple, nous avons choisi Créer un manifeste à l'aide de la configuration de réplication S3 pour permettre à Amazon S3 de générer un manifeste en notre nom et avons choisi « aws-s3-replication-tutorial-source-bucket » comme compartiment source. Si vous choisissez de laisser Amazon S3 générer un manifeste pour vous, vous verrez également apparaître des filtres supplémentaires, tels que la date de création de l'objet et le statut de la réplication, afin de réduire l'étendue de la tâche.

       4.4 (Facultatif) Si vous avez choisi d'enregistrer le manifeste Opérations par lots, chiffrez votre fichier manifeste à l'aide de clés gérées par Amazon S3 (SSE-S3) ou de la clé AWS Key Management Service (SSE-KMS) pour une sécurité et un contrôle d'accès supplémentaires.

• Si vous ne spécifiez pas de mode de chiffrement, Amazon S3 utilisera les paramètres de chiffrement par défaut du compartiment de destination du manifeste pour chiffrer le fichier manifeste.

• Si aucun chiffrement par défaut n'est activé sur le compartiment de destination, Amazon S3 utilisera SSE-S3 pour chiffrer le fichier manifeste.

 

 

4.5 Choisissez Suivant pour accéder à la page Choisir une opération.

4.6 Si vous avez choisi Créer un manifeste à l'aide de la configuration de réplication S3 à la page précédente, la seule option d'opération est Répliquer. En effet, la réplication est la seule opération autorisée lors de l'utilisation d'un manifeste généré par S3. Sélectionnez Répliquer, puis choisissez Suivant.

4.7 Configurer les options supplémentaires :

• Saisissez une description afin de définir au mieux l'objectif de la tâche.
• Sélectionnez une priorité pour indiquer la priorité relative de cette tâche par rapport aux autres tâches exécutées sur votre compte. Un chiffre plus élevé indique une priorité plus élevée. Par exemple, une tâche de priorité 2 sera privilégiée par rapport à une tâche de priorité 1. Les opérations par lots de S3 hiérarchisent les tâches en fonction des numéros de priorité, mais un ordre strict n'est pas garanti. Par conséquent, vous ne devez pas utiliser les priorités des tâches pour vous assurer qu'une tâche commence ou se termine avant une autre. Si vous devez respecter un ordre strict, attendez qu'une tâche soit terminée avant de commencer la suivante.
  

4.8 Choisissez si vous souhaitez générer un rapport d'achèvement. 

4.9 Choisissez un rôle IAM d'opérations par lots valide pour autoriser Amazon S3 à effectuer des actions en votre nom.

Vous devez également associer une politique IAM de réplication par lots au rôle IAM d'opérations par lots. Pour créer un rôle et une politique IAM valides, consultez Configuration des politiques IAM pour la réplication par lots.

4.10 Ajoutez des balises de tâche à votre tâche de réplication par lots, puis choisissez Suivant pour vérifier la configuration de votre tâche.

 

4.11 Sur la page Révision, choisissez Modifier pour apporter des modifications, puis choisissez Suivant pour enregistrer vos modifications et revenir à la page Révision.

Lorsque votre tâche est prête, choisissez Créer une tâche.  

 

4.12 Une fois la tâche de réplication par lots créée, les opérations par lots traitent le manifeste. En cas de réussite, le statut de la tâche devient En attente de votre confirmation pour être exécutée. Vous devez confirmer les détails de la tâche avant de pouvoir l'exécuter.

Lorsque la tâche est réussie, une bannière s'affiche en haut de la page Opérations par lots.

5.1 Dans votre liste de compartiments S3, choisissez le compartiment S3 que vous souhaitez configurer comme source de réplication.

La console vous amène à la page d'accueil du compartiment S3.

5.2 Examinez les objets, les propriétés, les autorisations, les mesures, la gestion et les points d'accès du compartiment S3 sélectionné.

5.3 Dans l'onglet Gestion, sous Règles de réplication, sélectionnez Afficher la configuration de la réplication.

5.4 Sur la page d'accueil de la configuration de réplication de votre compartiment source, choisissez Créer une tâche de réplication pour accéder à la page Créer une tâche pour les opérations par lots S3. Répétez les étapes précédentes pour créer une tâche de réplication par lots à partir de la configuration de réplication existante.