La réplication Amazon Simple Storage Service (S3) est une fonction élastique, entièrement gérée et peu coûteuse qui réplique les objets entre les compartiments. La réplication S3 offre la plus grande flexibilité et fonctionnalité du stockage dans le cloud, vous donnant les contrôles dont vous avez besoin pour répondre à la souveraineté de vos données et à d'autres besoins commerciaux.
Avec Amazon S3 Replication, vous pouvez configurer Amazon S3 pour répliquer automatiquement les objets S3 dans différentes régions AWS à l'aide de S3 Cross-Region Replication (CRR) ou entre des compartiments dans la même région AWS à l'aide de S3 Same-Region Replication (SRR). S3 Replication offre la flexibilité de répliquer vers plusieurs compartiments de destination dans la même région AWS ou dans différentes régions AWS. S3 Replication prend en charge la réplication bidirectionnelle entre deux compartiments ou plus dans la même région AWS ou dans des régions différentes. Tandis que la réplication en direct, comme la CRR et le SRR, réplique automatiquement les objets nouvellement chargés à mesure qu'ils sont écrits dans votre compartiment, S3 Batch Replication vous permet de répliquer des objets existants. Vous pouvez utiliser S3 Batch Replication pour remplir un compartiment nouvellement créé avec des objets existants, réessayer des objets qui étaient auparavant incapables de se répliquer, migrer des données entre comptes ou ajouter de nouveaux compartiments à votre lac de données. Les clients qui ont besoin d'un temps de réplication prévisible soutenu par un contrat de niveau de service (SLA) peuvent utiliser Replication Time Control (RTC) pour répliquer des objets en moins de 15 minutes.
Réplication Amazon S3 Replication fournit également des métriques et des notifications détaillées pour surveiller l'état de la réplication d'objets entre les compartiments. Vous pouvez surveiller la progression de la réplication en suivant le nombre d'octets en attente, les opérations en attente, la latence de réplication et les échecs de réplication à l'aide de la console S3 ou d'Amazon CloudWatch. Vous pouvez également configurer les notifications d'événements S3 pour recevoir des notifications d'échec de réplication afin de diagnostiquer et de corriger rapidement les problèmes de configuration. Les métriques et notifications de S3 Replication vous aident à surveiller de près la progression de la réplication. Pour en savoir plus, consultez la section Surveillance de la progression avec des métriques de réplication et des notifications d'événements Amazon S3.
Quand utiliser la réplication S3
Redondance des données : si vous devez conserver plusieurs copies de vos données dans la même région AWS ou dans différentes régions AWS, avec différents types de chiffrement ou sur différents comptes. La réplication S3 répond à vos besoins de distribution de contenu à l'échelle mondiale, à vos besoins de stockage en toute conformité et au partage de données entre les comptes.
Répliquer des objets en conservant les métadonnées : si vous devez vous assurer que vos répliques sont identiques aux données source, vous pouvez utiliser la réplication S3 pour créer des copies de vos objets qui conservent toutes les métadonnées, telles que l'heure de création de l'objet d'origine, les listes de contrôle d'accès (ACL) aux objets et les ID de version.
Répliquer des objets vers des classes de stockage plus économiques : vous pouvez utiliser la réplication S3 pour placer des objets dans S3 Glacier, S3 Glacier Deep Archive ou autre classe de stockage dans le compartiment de destination. Vous pouvez également répliquer vos données vers la même classe de stockage, puis utiliser les stratégies S3 Lifecycle pour déplacer vos objets vers un stockage plus économique.
Conserver des copies d'objet sous un compte différent : qui que soit le propriétaire de l'objet source, vous pouvez indiquer à Amazon S3 de donner la propriété de la réplique au compte AWS propriétaire du compartiment de destination afin de limiter l'accès aux répliques d'objets.
Répliquer vos objets en 15 minutes : vous pouvez utiliser Amazon S3 Replication Time Control (S3 RTC) pour répliquer vos données dans un délai prédictible. S3 RTC réplique 99,99 % des nouveaux objets stockés dans Amazon S3 en 15 minutes de chargement, garanti par un contrat de niveau de service (SLA).
Comment fonctionne la réplication S3
Aperçu de la protection des données Amazon S3 : gestion des versions, Object Lock et Réplication
Amazon S3 Cross-Region Replication (CRR)
Grâce à S3 Cross-Region Replication (CRR), vous pouvez répliquer des objets (ainsi que leurs métadonnées et balises d'objet respectives) dans toutes les régions AWS pour une latence réduite, de la conformité, de la sécurité, la récupération post-sinistre et d'autres cas d'utilisation. S3 CRR peut être configuré à partir d'un seul compartiment S3 source pour répliquer des objets dans un ou plusieurs compartiments de destination dans une autre région AWS.
Amazon S3 CRR réplique automatiquement les données entre compartiments de régions AWS différentes. Avec la réplication entre régions, vous pouvez configurer la réplication au niveau d'un compartiment, au niveau d'un préfixe partagé ou au niveau d'un objet à l'aide de balises d'objet S3. Vous pouvez utiliser cette fonctionnalité pour fournir un accès aux données à latence plus faible dans diverses régions géographiques. La réplication entre régions peut également être utile si vous devez répondre aux exigences de conformité concernant le stockage de copies de données à plusieurs centaines de kilomètres l'une de l'autre. La fonctionnalité CRR permet de changer de propriétaire de compte pour les objets répliqués afin de protéger les données contre une suppression accidentelle. Pour en savoir plus sur la fonctionnalité CRR, reportez-vous à la documentation sur la réplication S3.
Cas d'utilisation
Conformité – Par défaut, Amazon S3 stocke vos données sur plusieurs zones de disponibilité distinctes, géographiquement séparées, mais les normes de conformité peuvent imposer de les stocker dans des zones encore plus distantes. CRR vous permet de répliquer des données entre des régions AWS distantes pour répondre à ces exigences.
Performances de latence : si vos clients ou utilisateurs finaux sont répartis sur un ou plusieurs emplacements géographiques, vous pouvez minimiser la latence pour l'accès aux données en conservant plusieurs copies d'objets dans les régions AWS les plus proches géographiquement de vos clients.
Efficacité régionale : si vous disposez de clusters de calcul dans deux ou plus de deux régions AWS analysant le même ensemble d'objets, il peut être intéressant de disposer de copies d'objets dans l'ensemble de ces régions AWS.
Réplication dans la même région Amazon S3 (SRR)
La réplication au sein d’une même région (SRR, pour Same-Region Replication) Amazon S3 est une fonction S3 qui réplique automatiquement les données entre les compartiments d’une même région AWS. Avec SRR, vous pouvez configurer la réplication au niveau d'un compartiment, au niveau d'un préfixe partagé ou au niveau d'un objet à l'aide de balises d'objet S3. Vous pouvez utiliser SRR pour faire une ou plusieurs copies de vos données dans la même région AWS. SRR vous aide à répondre aux exigences de souveraineté et de conformité des données en conservant une copie de vos données dans un compte AWS distinct dans la même région que l'original. La fonctionnalité SRR permet de changer de propriétaire de compte pour les objets répliqués afin de protéger les données contre une suppression accidentelle. Vous pouvez également utiliser SRR pour agréger aisément les journaux de différents compartiments S3 pour le traitement dans la région ou de configurer la réplication dynamique entre les environnements de test et de développement.
Cas d'utilisation
Agréger des journaux dans un seul compartiment : si vous stockez des journaux dans plusieurs compartiments ou sur plusieurs comptes, vous pouvez répliquer facilement ces journaux au sein d'un seul compartiment situé dans cette région. Cela permet un traitement simplifié des journaux depuis un emplacement unique.
Réplication entre comptes test et développeur : si vous ou vos clients disposez de comptes développeur et test utilisant les mêmes données, vous pouvez répliquer des objets entre ces différents comptes en conservant leurs métadonnées, grâce à la mise en œuvre de règles de SRR.
Respecter les lois sur la souveraineté des données : les clients sont bien souvent dans l'obligation de stocker des données dans des comptes AWS séparés, avec interdiction de laisser les données sortir d'une région donnée. La réplication au sein d'une même région peut vous aider à sauvegarder des données critiques là où la réglementation en matière de conformité ne permet pas de les stocker en dehors des frontières du pays.
Amazon S3 Batch Replication
Tandis que la réplication en direct, comme la CRR et le SRR, réplique automatiquement les objets nouvellement chargés à mesure qu'ils sont écrits dans votre compartiment, S3 Batch Replication vous permet de répliquer des objets existants. Vous pouvez utiliser S3 Batch Replication pour remplir un compartiment nouvellement créé avec des objets existants, réessayer des objets qui étaient auparavant incapables de se répliquer, migrer des données entre comptes ou ajouter de nouveaux compartiments à votre lac de données. S3 Batch Replication fonctionne avec n'importe quelle quantité de données, ce qui vous permet de disposer d'un moyen entièrement géré pour répondre à vos besoins en matière de souveraineté et de conformité des données, de reprise après sinistre et d'optimisation des performances. Vous pouvez commencer à utiliser la réplication par lots S3 en quelques clics dans la console S3 ou à l'aide d'une simple requête API.
S3 Batch Replication complète la: réplication au sein d'une même région (SRR) et la réplication entre régions (CRR). S3 Batch Replication réplique des objets existants, tandis que la SRR et la CRR surveillent les téléchargements de nouveaux objets et les répliquent entre les compartiments.
Cas d'utilisation
Remplir des compartiments nouvellement créés - Si vous avez une nouvelle initiative de stockage multi-régions qui nécessite de configurer de nouveaux compartiments puis de les remplir avec des objets existants provenant d'un autre compartiment, vous pouvez utiliser Batch Replication pour répliquer des objets.
Faire une nouvelle tentative de réplication - Si vous devez faire une nouvelle tentative de réplication pour diverses raisons (y compris lorsque la réplication des objets à échoué initialement, lorsque les objets ont bien été répliqués vers une destination mais qu'ils doivent désormais être répliqués vers une autre destination, ou lorsque vous répliquez des réplicas d'objets à partir d'une autre source), vous pouvez utiliser Batch Replication pour faire une nouvelle tentative de réplication.
Effectuer une migration - Si vous avez besoin de migrer des objets existants entre différents compartiments, que ceux-ci se trouvent dans une région différente ou dans un compte différent, vous pouvez utiliser Batch Replication lors de la migration pour préserver les métadonnées et l'ID de version.
Réplication Amazon S3 Time Control
Réplication Amazon S3 Time Control vous aide à respecter les règles de conformité ou les « exigences commerciales » en matière de réplication de données et apporte une visibilité à l'activité de réplication Amazon S3. Le contrôle du délai de réplication réplique la plupart des objets « que vous téléchargez » sur Amazon S3 en quelques secondes et 99,99 pourcents de ces objets en 15 minutes. Réplication Amazon S3 Time Control, par défaut, inclut les métriques de réplication S3 et les notifications d'événements S3, avec lesquelles vous pouvez surveiller le nombre total d'opérations API S3 en attente de réplication, la taille totale des objets en attente de réplication et le temps de réplication maximal.
Réplication S3 Time Control est soutenu par un accord de niveau de service (SLA) sur la réplication de 99,9 % des objets dans les 15 minutes au cours de tout mois de facturation.
Pour en savoir plus sur S3 Replication Time Control, reportez-vous à la page de documentation de la réplication S3 ou les questions fréquentes (FAQ) sur la réplication S3.
Comment fonctionne le contrôle du délai de réplication S3
Mise en route avec S3 Replication
Amazon S3 Replication (CRR et SRR) et S3 Replication Time Control peuvent être configurés au niveau d'un compartiment S3, au niveau d'un préfixe partagé ou au niveau d'un objet à l'aide de balises d'objet S3. En outre, S3 Replication Time Control peut être activé pour une ou plusieurs paires de régions.
Pour commencer à utiliser Réplication S3, accédez au didacticiel Réplication S3, accédez au didacticiel Réplication Batch S3 et consultez les FAQ sur la réplication S3 et la documentation sur Réplication S3. Pour la tarification de Réplication S3, reportez-vous à la page de tarification S3.