Mise en route / Ateliers / …
Optimisation des coûts et visibilité de l'utilisation avec Amazon S3 Storage Lens
DIDACTICIEL
Présentation
Amazon S3 Storage Lens offre une visibilité à l'échelle de l'organisation sur l'utilisation du stockage d'objets et les tendances de l'activité. Il formule des recommandations concrètes pour optimiser les coûts et appliquer les bonnes pratiques de protection des données. S3 Storage Lens est la première solution d'analyse du stockage dans le cloud à fournir une vue unique de l'utilisation et de l'activité du stockage d'objets sur des centaines, voire des milliers de comptes dans une organisation AWS, avec des analyses détaillées destinées à produire des informations à plusieurs niveaux d'agrégation. À l'aide des recommandations contextuelles que S3 Storage Lens tire de l'analyse des indicateurs de votre organisation, vous pouvez prendre des mesures immédiates pour optimiser votre stockage.
Amazon S3 est utilisé pour stocker de grands jeux de données partagés sur des dizaines ou des centaines de comptes et de compartiments, dans plusieurs régions et avec des milliers de préfixes. S3 Storage Lens vous permet de facilement comprendre votre stockage et de l'analyser pour détecter les valeurs aberrantes. S3 Storage Lens fournit plus de 60 mesures (mesures gratuites et mesures avancées) sur l'utilisation et l'activité du stockage S3 dans un tableau de bord interactif de la S3 console. Tous les clients ont accès à des mesures gratuites et peuvent activer des mesures avancées moyennant des frais de surveillance mensuels par objet afin de recevoir des mesures supplémentaires, des informations au niveau des préfixes, une conservation étendue des données, des recommandations et la possibilité de publier des métriques sur Amazon CloudWatch.
Qu'allez-vous accomplir
- Comprendre la différence entre les mesures gratuites et avancées
- Créer, configurer et naviguer dans un tableau de bord S3 Storage Lens
- Découvrir les cas d'utilisation de l'objectif de rangement S3
Conditions préalables
Accédez à cette page de support pour plus d'informations sur la procédure de création et d'activation d'un nouveau compte AWS.
Pour obtenir de l'aide pour créer votre premier compartiment S3, consultez le Guide de l'utilisateur Amazon S3.
Expérience AWS
Temps nécessaire
30 minutes
Coût de réalisation (avec mesures gratuites)
Gratuit
Coût de réalisation (avec mesures avancées)
Les prix peuvent varier : 0,20 $ par million d'objets surveillés par mois (page de tarification Amazon S3)
Éléments requis
Compte AWS et compartiment Amazon S3 rempli
Services utilisés
Date de la dernière mise à jour
17 novembre 2022
Implémentation
Mesures gratuites
Tous les clients Amazon S3 peuvent accéder à un tableau de bord interactif dans la console S3 qui contient des vues préconfigurées de l'utilisation du stockage et des tendances d'activité. Avec les métriques gratuites de S3 Storage Lens, vous recevez 28 métriques de différentes catégories au niveau du compartiment et vous pouvez accéder à 14 jours d'historique de données dans le tableau de bord. Vous pouvez filtrer votre tableau de bord par résumé, optimisation des coûts, protection des données, gestion des accès, performances ou événements afin d'analyser des métriques spécifiques pour les cas d'utilisation que vous avez prévus. Outre le tableau de bord de la console S3, vous pouvez exporter les métriques au format CSV ou Apache Parquet vers un compartiment S3 de votre choix pour une utilisation ultérieure. Pour plus d'informations sur les mesures d'utilisation agrégées par S3 Storage Lens, consultez le glossaire des métriques Amazon S3 Storage Lens.
Métriques et recommandations avancées
S3 Storage Lens propose des statistiques gratuites pour tous les tableaux de bord et configurations, avec la possibilité de passer à des mesures et recommandations avancées moyennant des frais supplémentaires. Pour plus d'informations, consultez l'onglet Gestion et analyses sur la page de tarification d'Amazon S3.
En effectuant une mise à niveau vers les métriques avancées Storage Lens, vous bénéficiez de 35 métriques supplémentaires avec 15 mois d'historique de données. Les métriques avancées fournissent des informations liées à l'activité (telles que le nombre de requêtes), à une plus grande optimisation des coûts (telles que le nombre de règles du Cycle de vie S3), à une protection supplémentaire des données (telles que le nombre de règles de la Réplication S3) et à des codes d'état détaillés (tels que les erreurs d'autorisation 403). Vous pouvez également accéder au niveau des préfixes pour identifier les préfixes les plus importants et ceux dont la croissance est la plus rapide au sein d'un compartiment. En outre, vous pouvez accéder aux métriques de S3 Storage Lens par le biais d'Amazon CloudWatch pour créer des alarmes, ou de l'API CloudWatch pour envoyer des métriques à des partenaires d'observabilité intégrés. Vous pouvez utiliser des informations avancées pour étendre l'utilisation des règles du Cycle de vie afin d'optimiser davantage les coûts, d'identifier les compartiments dont les politiques de protection des données sont insuffisantes et d'améliorer les performances des charges de travail de vos applications.
S3 Storage Lens fournit des recommandations automatisées pour vous aider à optimiser votre stockage. Les recommandations sont placées contextuellement à côté des indicateurs pertinents dans le tableau de bord S3 Storage Lens. Les données historiques ne peuvent pas faire l'objet de recommandations car les recommandations sont pertinentes par rapport à ce qui s'est passé au cours de la période la plus récente. Les recommandations n'apparaissent que lorsqu'elles sont pertinentes.
Les recommandations relatives aux lentilles de rangement S3 se présentent sous les formes suivantes :
- Suggestions
Les suggestions vous informent sur les tendances en matière d'utilisation et d'activité du stockage qui peuvent indiquer une occasion d'optimiser vos coûts de stockage ou d'appliquer les meilleures pratiques en matière de protection des données. - Appels
Les appels sont des recommandations qui vous alertent en cas d'anomalies intéressantes concernant votre utilisation et votre activité de stockage au cours d'une période qui pourrait nécessiter une attention ou une surveillance supplémentaires. - Rappels
Les rappels fournissent des informations sur le fonctionnement d'Amazon S3. Ils peuvent vous aider à en savoir plus sur les manières d'utiliser les fonctionnalités S3 pour réduire les coûts de stockage ou appliquer les meilleures pratiques en matière de protection des données.
S3 Storage Lens collecte des statistiques quotidiennement et les données sont disponibles pour les requêtes pendant 15 mois. Pour plus d'informations sur les mesures de stockage agrégées par S3 Storage Lens, consultez le glossaire des mesures de stockage Amazon S3 Storage Lens.
Étape 1 : Création d'un tableau de bord S3 Storage Lens
1.1 — Connectez-vous à Console de gestion AWS à l'aide des informations d'identification de compte. Dans la barre de recherche des services de la console AWS, saisissez S3. Dans la section des résultats de la recherche de services, sélectionnez S3.
1.2 — Accédez à l'élément de menu Tableaux de bord sous la section Storage Lens du panneau de gauche. Puis, choisissez Créer un tableau de bord.
1.3 — Dans le panneau Général, entrez un nom descriptif pour votre tableau de bord et choisissez une région d'origine. Ensuite, choisissez l'option Activer sous Statut pour obtenir des statistiques quotidiennes mises à jour.
1.4 — Un tableau de bord peut analyser le stockage entre les comptes, les régions, les compartiments et les préfixes. Sous Étendue du tableau de bord, choisissez si vous souhaitez inclure ou exclure certaines régions, certains compartiments ou les deux pour modifier l'étendue de votre tableau de bord.
Si vous sélectionnez le bouton Inclure les régions et les compartiments, vous aurez la possibilité d'inclure toutes les régions et tous les compartiments, ou de sélectionner les régions et les compartiments que vous souhaitez inclure dans une liste déroulante. Sinon, si vous sélectionnez le bouton Exclure les régions et les compartiments, vous aurez une option déroulante pour choisir les régions et les compartiments à exclure.
1.5 — Sous Sélection des indicateurs, choisissez les options que vous souhaitez utiliser. Pour ce didacticiel, nous avons sélectionné les mesures et recommandations avancées, ainsi que les mesures avancées, la publication CloudWatch et l'agrégation de préfixes. En outre, vous pouvez choisir les catégories de statistiques avancées que vous souhaitez inclure dans le tableau de bord. Pour ce didacticiel, nous avons sélectionné les mesures d'activité, les mesures de code d'état détaillées, les mesures avancées d'optimisation des coûts et les mesures avancées de protection des données. Vous trouverez une liste détaillée des mesures dans le glossaire des mesures du Guide de l'utilisateur Amazon S3.
1.6 — Dans Exportation des mesures, vous pouvez choisir Activer pour que les mesures de votre tableau de bord soient exportées vers un compartiment S3 spécifié toutes les 24 heures.
Si vous choisissez de l'activer, vous devrez ensuite sélectionner votre format de sortie préféré et votre compartiment de destination.
Pour en savoir plus, consultez la documentation sur l'exportation de données S3 Storage Lens.
Pendant ce temps, n'hésitez pas à quitter ce didacticiel et à revenir sur ce didacticiel une fois les mesures générées.
Étape 2 : Accédez au tableau de bord S3 Storage Lens
2.1 — Revenez au tableau de bord en accédant à la console Amazon S3, puis accédez à l'élément de menu Tableaux de bord, comme vous l'avez fait à l'étape 1.2. Une fois que vous avez ouvert le tableau de bord, vous pouvez étendre le panneau Filtres pour filtrer temporairement les données du tableau de bord par comptes, régions, classes de stockage, compartiments et préfixes.
2.2 — La section suivante donne un aperçu de diverses mesures. Vous pouvez voir une courbe de tendance qui montre la tendance de chaque mesure au cours des 30 derniers jours, si vous utilisez des mesures avancées, et une variation en pourcentage (14 jours si vous utilisez des indicateurs gratuits ou si vous avez activé les mesures avancées il y a moins de 30 jours). Le chiffre figurant dans la colonne de comparaison des % de variation indique la variation en pourcentage jour par jour par défaut. Vous pouvez choisir de comparer semaine par semaine ou mois par mois.
De plus, vous pouvez sélectionner différents groupes de mesures à afficher dans l'aperçu instantané dans la liste déroulante. Les sélections incluent le résumé, l'optimisation des coûts, la protection des données, l'activité, la gestion des accès, les événements et les performances.
2.3 — Dans le panneau Instantanés, vous verrez la section Tendances et distributions. Dans cette section, vous pouvez comparer deux statistiques sur une plage de dates, que vous pouvez spécifier, afin de visualiser les tendances au fil du temps.
2.4 — Ci-dessous, le tableau de bord présente également ces deux mesures et la façon dont elles sont réparties entre les classes de stockage et les régions AWS. Vous pouvez cliquer sur n'importe quelle valeur de ce graphique et explorer vers le bas pour filtrer l'ensemble du tableau de bord en fonction de cette valeur, ou sélectionner Analyser par pour accéder à une nouvelle vue du tableau de bord pour cette dimension.
2.5 — La dernière section de l'onglet Aperçu vous permet d'effectuer une analyse Top N d'une métrique sur une plage de dates, où N est compris entre 1 et 25. Dans l'exemple ci-dessous, nous avons sélectionné les trois principaux éléments par ordre décroissant pour la mesure de stockage total.
Vous pouvez ensuite voir les trois principaux comptes, les régions, les compartiments et les préfixes en fonction de la mesure choisie, ainsi que les tendances associées.
Vous pouvez consulter les autres onglets du tableau de bord pour obtenir des mesures plus spécifiques sur vos comptes, vos régions, vos classes de stockage, vos compartiments et vos préfixes.
Étape 3 : Explorez les cas d'utilisation de l'objectif de stockage S3
Identifiez les grands compartiments dont vous ne connaissez pas l'existence (niveau gratuit)
La première étape pour gérer vos coûts de stockage consiste à obtenir une compréhension détaillée de votre utilisation de S3 par compartiment. Avec S3 Storage Lens, vous pouvez accéder à une vue centralisée de tous les compartiments de votre compte. Vous pouvez même configurer un tableau de bord au niveau de l'organisation AWS pour voir tous les compartiments de tous vos comptes. Grâce à S3 Storage Lens, vous pouvez facilement voir tous vos compartiments, ce qui peut révéler des résultats inattendus, tels que des compartiments contenant plus d'objets que prévu.
3.1 — En haut du tableau de bord de S3 Storage Lens, accédez à l'onglet Compartiment.
3.3 — Sur le graphique tendance des compartiments, vous pouvez visualiser non seulement quel compartiment possède le stockage total le plus élevé, mais également quels compartiments ont connu la plus forte croissance. Sur ce graphique, il est clair que compartiment1 a connu une croissance constante tout en disposant du plus grand espace de stockage.
Nous pouvons explorer ce compartiment pour obtenir plus d'informations, telles que la taille moyenne des objets, le pourcentage d'octets de version non courante ou les préfixes les plus importants.
3.4 — Vous pouvez ensuite accéder au compartiment dans la console Amazon S3 pour comprendre la charge de travail associée et identifier les propriétaires internes du compartiment en fonction du numéro de compte. Vous pouvez ensuite vous renseigner auprès des propriétaires de compartiments pour savoir si cette croissance est attendue ou s'il s'agit d'une croissance inattendue que vous pouvez désormais surveiller et contrôler correctement.
Utilisation accrue des classes de stockage S3
L'une des solutions les plus claires pour réduire les coûts de stockage consiste à optimiser vos coûts de stockage en fonction de la fréquence d'accès et des besoins de performances via les classes de stockage Amazon S3. Amazon S3 propose une gamme de classes de stockage que vous pouvez choisir en fonction des exigences de vos charges de travail en matière d'accès aux données, de résilience et de coût. Ces classes de stockage incluent :
- S3 Standard pour le stockage à usage général des données fréquemment consultées
- S3 Intelligent-Tiering pour les données ayant des modèles d'accès inconnus ou changeants
- S3 Standard-Infrequent Access (S3 Standard-IA) et S3 One Zone-Infrequent Access (S3 One Zone-IA) pour des données de longue durée mais moins fréquemment consultées
- Amazon S3 Glacier Flexible Retrieval, Amazon S3 Glacier Instant Retrieval, et Amazon S3 Glacier Deep Archive pour une conservation numérique et un archivage à long terme
Si vous constatez que la totalité ou la quasi-totalité de vos octets de stockage appartiennent à la classe de stockage S3 Standard, cela signifie que vous pouvez optimiser votre utilisation en explorant d'autres classes de stockage S3 afin de mieux les adapter à votre cas d'utilisation. Si vous voyez un tel affichage, vous pouvez probablement tirer parti de l'exploration des modèles de conception d'optimisation des coûts.
Tout d'abord, vous pouvez automatiser l'optimisation des coûts à l'aide de la classe de stockage S3 Intelligent-Tiering, idéale pour les modèles d'accès inconnus ou changeants. Ensuite, pour les modèles d'accès connus, vous pouvez configurer les politiques de cycle de vie d'Amazon S3 afin de réduire vos coûts de stockage en transférant vos données vers des classes de stockage plus économiques à mesure que la fréquence d'accès ralentit au fil du temps. Consultez la page de tarification d'Amazon S3 pour plus de détails sur les économies exactes et les coûts supplémentaires liés aux transitions et à l'utilisation des classes de stockage S3 Glacier par objet.
Vous pouvez ensuite poursuivre votre analyse dans S3 Storage Lens pour explorer de manière plus approfondie l'utilisation des classes de stockage, en explorant les distributions des classes de stockage pour des régions ou des compartiments spécifiques (ou des préfixes si vous êtes passé au niveau avancé). Il est courant de disposer d'un sous-ensemble de compartiments qui ne sont pas configurés de manière optimale. C'est pourquoi vous pouvez bénéficier de classes de stockage S3 différentes ou supplémentaires. S3 Storage Lens est un outil efficace pour détecter ces compartiments avant de passer à d'autres mesures.
Découvrez les compartiments inutilisés
Si certains de vos compartiments sont devenus inutilisés, c'est-à-dire que le stockage qu'ils contiennent n'est plus accessible (ou rarement consulté), cela indique souvent que la charge de travail correspondante n'est plus utilisée. Si vous avez activé les mesures avancées de S3 Storage Lens, vous avez accès aux mesures d'activité qui vous permettent de connaître la température de vos compartiments. Certaines statistiques, telles que les requêtes GET et le nombre d'octets de téléchargement, indiquent la fréquence d'accès à vos compartiments chaque jour. Vous pouvez suivre l'évolution de ces données sur plusieurs mois (la conservation étendue des données est disponible avec le niveau avancé) afin de comprendre la cohérence des modèles d'accès et de repérer les compartiments qui ne sont plus accessibles. La mesure du taux d'extraction en %, calculée comme suit : octets de téléchargement/stockage total, est une mesure utile pour comprendre la proportion de stockage dans un compartiment accessible quotidiennement. N'oubliez pas que les octets de téléchargement sont dupliqués dans les cas où le même objet est téléchargé plusieurs fois au cours de la journée.
Le meilleur moyen de visualiser les compartiments devenus inutilisés est d'utiliser le graphique d'analyse des bulles situé dans l'onglet compartiment du tableau de bord. Le graphique d'analyse à bulles vous permet de tracer vos compartiments sur plusieurs dimensions à l'aide de trois mesures quelconques pour représenter l'axe X, l'axe Y et la taille de la bulle.
3.6 — Accédez à l'onglet compartiment et descendez jusqu'au graphique d'analyse des bulles. Sélectionnez Stockage total, % du taux d'extraction et taille moyenne de l'objet.
Si vous explorez les compartiments dont le taux de récupération est nul (ou proche de zéro) et dont la taille de stockage relative est supérieure, vous pouvez trouver des compartiments inutilisés et dont le coût de stockage est probablement suffisamment élevé pour justifier une action. Pour cet exemple, nous examinerions compartiment10 et compartiment1.
À partir de là, vous pouvez identifier les propriétaires des compartiments de votre organisation afin de confirmer l'objectif de la charge de travail et de savoir si le stockage est toujours nécessaire. Si cela n'est pas nécessaire, vous pouvez réduire les coûts en configurant des politiques d'expiration du cycle de vie ou en archivant les données dans les classes de stockage Amazon S3 Glacier. Et pour éviter le problème des compartiments inutilisés à l'avenir, vous pouvez appliquer l'un des modèles de conception recommandés précédemment dans ce guide, pour transférer automatiquement vos données à l'aide des politiques de cycle de vie S3 ou activer l'archivage automatique avec S3 Intelligent-Tiering.
Étape 4 : nettoyage
Dans le cadre de ce didacticiel, nous vous recommandons, si vous trouvez intéressant les informations que vous récupérez, de conserver les mesures et les recommandations avancées. Notez que vous continuerez à encourir des frais si vous choisissez cette option.
Vous pouvez également choisir de ne plus encourir de frais en désactivant les mesures et recommandations avancées. Vous aurez toujours accès aux mesures gratuites sur votre tableau de bord.
4.2 — Cliquez sur le bouton Modifier en haut à droite de la page de configuration du tableau de bord.
4.3 — Faites défiler la page vers le bas jusqu'au panneau de sélection des mesures, puis choisissez Mesures gratuites. Ensuite, sélectionnez Enregistrer les modifications.
Conclusion
Félicitations ! Vous avez appris à créer, configurer et naviguer dans un tableau de bord Amazon S3 Storage Lens, et vous avez exploré trois cas d'utilisation pour optimiser vos coûts de stockage d'objets.
Étapes suivantes
Pour en savoir plus sur Amazon S3 Storage Lens, consultez le guide de l'utilisateur Amazon S3 et la page produit.