Erste Schritte / Praktische Übungen / ...
Optimieren Sie Kosten und erhalten Sie Einblick in die Nutzung mit Amazon S3 Storage Lens
TUTORIAL
Übersicht
Amazon S3 Storage Lens stellt unternehmensweite Sichtbarkeit in Objektspeichernutzung und Aktivitätentrends bereit und spricht umsetzbare Empfehlungen aus, um Kosten zu optimieren und bewährte Methoden des Datenschutzes anzuwenden. S3 Storage Lens ist die erste Cloud-Storage-Analyselösung, die eine einheitliche Ansicht der Objektspeichernutzung und -aktivität über Hunderte oder sogar Tausende von Konten in einer AWS Organization hinweg bietet, mit Aufschlüsselung zur Gewinnung von Erkenntnissen auf mehreren Aggregationsebenen. Mit den kontextbezogenen Empfehlungen, die S3 Storage Lens aus der Analyse von Metriken in Ihrem Unternehmen ableitet, können Sie sofort Maßnahmen zur Optimierung Ihres Speichers ergreifen.
Amazon S3 wird zur Speicherung großer, gemeinsam genutzter Datensätze über Dutzende bis Hunderte von Konten und Buckets, mehrere Regionen und Tausende von Präfixen verwendet. Mit S3 Storage Lens können Sie Ihren Speicher leicht verstehen und analysieren, um Ausreißer zu erkennen. S3 Storage Lens liefert mehr als 60 Metriken (kostenlose Metriken und erweiterte Metriken) zur S3-Speichernutzung und -aktivität in einem interaktiven Dashboard in der S3-Konsole. Alle Kunden haben Zugang zu kostenlosen Metriken und können gegen eine monatliche Gebühr pro Objekt erweiterte Metriken aktivieren, um Einblicke auf Präfix-Ebene, erweiterte Datenaufbewahrung, Empfehlungen und die Option zur Veröffentlichung von Metriken auf Amazon CloudWatch zu erhalten.
Was Sie erreichen werden
- Verstehen Sie den Unterschied zwischen kostenlosen und erweiterten Metriken
- Erstellen, Konfigurieren und Navigieren eines Dashboards für S3 Storage Lens
- Entdecken Sie Anwendungsfälle für S3 Storage Lens
Voraussetzungen
Besuchen Sie diese Support-Seite, um weitere Informationen zum Erstellen und Aktivieren eines neuen AWS-Kontos zu erhalten.
Hilfe bei der Erstellung Ihres ersten S3-Buckets finden Sie im Amazon-S3-Benutzerhandbuch.
Erfahrung mit AWS
Benötigte Zeit
30 Minuten
Kosten der Fertigstellung (mit kostenlosen Metriken)
Kostenlos
Kosten der Fertigstellung (mit erweiterten Metriken)
Die Preise können sich unterscheiden: 0,20 USD pro Million überwachter Objekte pro Monat (Amazon S3-Preisseite)
Erfordert
AWS-Konto und ein aufgefüllter Amazon S3-Bucket
Verwendete Services
Letzte Aktualisierung
17. November 2022
Implementierung
Kostenlose Metriken
Alle Amazon S3-Kunden können auf ein interaktives Dashboard in der S3-Konsole zugreifen, das vorkonfigurierte Ansichten der Speichernutzung und Aktivitätstrends enthält. Die kostenlosen Metriken von S3 Storage Lens bieten Ihnen 28 Metriken in verschiedenen Kategorien auf Bucket-Ebene sowie 14 Tage historische Daten im Dashboard. Sie können Ihr Dashboard nach Zusammenfassung, Kostenoptimierung, Datenschutz, Zugriffsmanagement, Leistung oder Ereignissen filtern, um spezifische Kennzahlen für Ihre geplanten Anwendungsfälle zu analysieren. Zusätzlich zum Dashboard in der S3-Konsole können Sie Metriken im CSV- oder Apache Parquet-Format zur weiteren Verwendung in einen S3-Bucket ihrer Wahl exportieren. Weitere Informationen darüber, welche Nutzungsmetriken von S3 Storage Lens aggregiert werden, finden Sie im Glossar der Amazon S3 Storage Lens-Metriken.
Erweiterte Metriken und Empfehlungen
S3 Storage Lens bietet kostenlose Metriken für alle Dashboards und Konfigurationen mit der Option, gegen Aufpreis ein Upgrade auf erweiterte Metriken und Empfehlungen durchzuführen. Weitere Informationen finden Sie auf der Registerkarte Management & Analytics auf der Amazon S3-Preisseite.
Durch ein Upgrade auf die erweiterten Metriken von Storage Lens erhalten Sie 35 zusätzliche Metriken mit Verlaufsdaten von 15 Monaten. Die erweiterten Metriken bieten Einblicke in Aktivitäten (wie die Anzahl der Anfragen), tiefergehende Kostenoptimierungen (wie die Anzahl der S3-Lifecycle-Regeln), zusätzlichen Datenschutz (wie die Anzahl der S3-Replikationsregeln) und detaillierte Statuscodes (z. B. 403-Autorisierungsfehler). Sie können auch bis zur Präfixebene Drilldown, um Ihre größten und am schnellsten wachsenden Präfixe innerhalb eines Buckets zu ermitteln. Darüber hinaus können Sie über Amazon CloudWatch auf Metriken von S3 Storage Lens zugreifen, um Alarme zu erstellen, oder über die CloudWatch-API, um Metriken an integrierte Beobachtbarkeit-Partner zu senden. Sie können erweiterte Erkenntnisse nutzen, um die Nutzung von Lifecycle-Regeln zu erweitern, um die Kosten zu optimieren, Buckets mit unzureichenden Datenschutzrichtlinien zu identifizieren und die Leistung Ihrer Anwendungsworkloads zu verbessern.
S3 Storage Lens bietet automatische Empfehlungen, mit denen Sie Ihren Speicher optimieren können. Empfehlungen werden kontextbezogen zusammen mit relevanten Metriken im Dashboard von S3 Storage Lens platziert. Verlaufsdaten sind für Empfehlungen nicht geeignet, da sich die Empfehlungen auf das Geschehen im jüngsten Zeitraum beziehen. Empfehlungen werden nur angezeigt, wenn sie relevant sind.
Es gibt folgende Empfehlungen für S3 Storage Lens:
- Vorschläge
Vorschläge machen Sie auf Trends bei Ihrer Speichernutzung und -aktivität aufmerksam, die auf eine Möglichkeit hinweisen könnten, Ihre Speicherkosten zu optimieren oder bewährte Datenschutzpraktiken anzuwenden. - Call-Outs
Bei Call-Outs handelt es sich um Empfehlungen, die Sie auf interessante Anomalien bei Ihrer Speichernutzung und -aktivität über einen Zeitraum aufmerksam machen, der möglicherweise weitere Aufmerksamkeit oder Überwachung erfordert. - Erinnerungen
Erinnerungen bieten Einblicke in die Funktionsweise von Amazon S3. Sie können Ihnen helfen, mehr darüber zu erfahren, wie Sie S3-Features nutzen können, um Speicherkosten zu senken oder bewährte Methoden im Datenschutz anzuwenden.
S3 Storage Lens erfasst täglich Metriken und Daten stehen 15 Monate lang für Abfragen zur Verfügung. Weitere Informationen zu den von S3 Storage Lens aggregierten Speichermetriken finden Sie im Glossar der Amazon S3 Storage Lens-Metriken.
Schritt 1: Erstellen Sie ein S3 Storage Lens-Dashboard
1.1 – Melden Sie sich mit den Anmeldeinformation Ihres Konto in der AWS-Managementkonsole an. Geben Sie in der Suchleiste der AWS-Konsolen-Services S3 ein. Wählen Sie aus den Suchergebnissen für Services S3 aus.
1.2 – Navigieren Sie zum Menüpunkt Dashboards im Abschnitt Storage Lens in der linken Leiste. Wählen Sie als Nächstes Dashboard erstellen.
1.3 – Geben Sie im Bereich Allgemein einen beschreibenden Namen für Ihr Dashboard ein und wählen Sie eine Heimatregion aus. Wählen Sie dann die Option Aktivieren unter Status für täglich aktualisierte Metriken.
1.4 –Ein Dashboard kann den Speicherplatz für Konten, Regionen, Buckets und Präfixe analysieren. Wählen Sie unter Dashboard-Umfang aus, ob Sie bestimmte Regionen, Buckets oder beides ein- oder ausschließen möchten, um den Umfang Ihres Dashboards zu ändern.
Wenn Sie auf die Schaltfläche Regionen und Buckets einschließen klicken, haben Sie die Möglichkeit, alle Regionen und Buckets einzuschließen oder aus einer Dropdown-Liste die Regionen und Buckets auszuwählen, die Sie einschließen möchten. Andernfalls, wenn Sie die Schaltfläche Regionen und Buckets ausschließen auswählen, steht Ihnen eine Dropdownoption zur Verfügung, mit der Sie auswählen können, welche Regionen und Buckets ausgeschlossen werden sollen.
1.5 – Wählen Sie unter Metrikauswahl die Optionen aus, die Sie verwenden möchten. Für dieses Tutorial haben wir erweiterte Metriken und Empfehlungen ausgewählt und erweiterte Metriken, CloudWatch-Veröffentlichung und Präfixaggregation eingeschlossen. Außerdem können Sie die Kategorien für erweiterte Metriken auswählen, die Sie in das Dashboard aufnehmen möchten. Für dieses Tutorial haben wir Aktivitätsmetriken, detaillierte Statuscode-Metriken, Erweiterte Kostenoptimierungsmetriken und Erweiterte Datenschutzkennzahlen ausgewählt. Eine detaillierte Liste der Metriken finden Sie im Metrik-Glossar im Amazon-S3-Benutzerhandbuch.
1.6 – Unter Metrikexport können Sie Aktivieren auswählen, damit Ihre Dashboard-Metriken alle 24 Stunden in einen bestimmten S3-Bucket exportiert werden.
Wenn Sie dies aktivieren, müssen Sie dann Ihr bevorzugtes Ausgabeformat und Ihren Ziel-Bucket auswählen.
Weitere Informationen finden Sie in der Dokumentation zum Datenexport in S3 Storage Lens.
Während dieser Zeit können Sie dieses Tutorial jederzeit verlassen und zu diesem Tutorial zurückkehren, sobald die Metriken generiert wurden.
Schritt 2: Navigieren Sie zum S3 Storage Lens-Dashboard
2.1 – Gehen Sie zurück zum Dashboard, indem Sie auf die Amazon-S3-Konsole zugreifen, und rufen Sie dann den Menüpunkt Dashboards auf, wie Sie es in Schritt 1.2 getan haben. Sobald Sie das Dashboard geöffnet haben, können Sie den Bereich Filter erweitern, um die Dashboard-Daten vorübergehend nach Konten, Regionen, Speicherklassen, Buckets und Präfixen zu filtern.
2.2 – Der nächste Abschnitt ist eine Momentaufnahme einer Vielzahl von Metriken. Sie können eine Trendlinie sehen, die den Trend jeder Metrik über die letzten 30 Tage anzeigt, wenn Sie erweiterte Metriken verwenden, sowie eine prozentuale Veränderung (14 Tage, wenn Sie kostenlose Metriken verwenden oder wenn Sie vor weniger als 30 Tagen erweiterte Metriken aktiviert haben). Die Zahl in der Vergleichsspalte % Veränderung zeigt standardmäßig die prozentuale Veränderung von Tag/Tag an. Sie können wählen, ob Sie nach Woche/Woche oder Monat/Monat vergleichen möchten.
Darüber hinaus können Sie in der Dropdownliste verschiedene Metrikgruppen auswählen, die in der Snapshot-Übersicht angezeigt werden sollen. Die Auswahlmöglichkeiten umfassen Zusammenfassung, Kostenoptimierung, Datenschutz, Aktivität, Zugriffsverwaltung, Ereignisse und Leistung.
2.3 – Unter dem Snapshot-Bereich sehen Sie den Abschnitt Trends und Verteilungen. In diesem Abschnitt können Sie zwei Metriken über einen Zeitraum vergleichen, den Sie angeben können, um Trends im Zeitverlauf zu sehen.
2.4 – Direkt darunter zeigt das Dashboard auch diese beiden Metriken und wie sie auf die Speicherklasse und die AWS-Regionen verteilt sind. Sie können auf einen beliebigen Wert in diesem Diagramm klicken und einen Drill Down durchführen, um das gesamte Dashboard nach diesem Wert zu filtern, oder Analysieren nach auswählen, um zu einer neuen Dashboard-Ansicht für diese Dimension zu gelangen.
2.5 – Im letzten Abschnitt auf der Registerkarte Übersicht können Sie eine Top-N-Analyse einer Metrik in einem Datumsbereich durchführen, wobei N zwischen 1 und 25 liegt. Im Beispiel unten haben wir die drei wichtigsten Elemente in absteigender Reihenfolge für die Metrik Gesamtspeicher ausgewählt.
Sie können dann die drei wichtigsten Konten, Regionen, Buckets und Präfixe für die gewählte Metrik zusammen mit den zugehörigen Trends sehen.
In den anderen Tabs im Dashboard finden Sie genaue Metriken zu Ihren Konten, Regionen, Speicherklassen, Buckets und Präfixen.
Schritt 3: Erkunden Sie Anwendungsfälle für S3 Storage Lens
Identifizieren Sie große Buckets, von denen Sie nichts wissen (Kostenloses Kontingent)
Der erste Schritt zur Verwaltung Ihrer Speicherkosten besteht darin, sich ein detailliertes Verständnis Ihrer S3-Nutzung pro Bucket zu verschaffen. Mit S3 Storage Lens können Sie auf eine zentrale Ansicht aller Buckets in Ihrem Konto zugreifen. Sie können sogar ein Dashboard auf AWS-Organisationsebene konfigurieren, um alle Buckets in all Ihren Konten zu sehen. Mit S3 Storage Lens können Sie auf einfache Weise alle Ihre Buckets einsehen, wodurch unerwartete Erkenntnisse aufgedeckt werden können, z. B. Buckets mit mehr Objekten als erwartet.
3.1 – Navigieren Sie oben im S3 Storage Lens-Dashboard zur Registerkarte Bucket.
3.3 – In der Grafik Trend der Buckets können Sie nicht nur sehen, welcher Bucket den höchsten Gesamtspeicherplatz hat, sondern auch, welche Buckets das stärkste Wachstum zu verzeichnen haben. In dieser Grafik wird deutlich, dass Bucket1 ein konstantes Wachstum verzeichnet hat und gleichzeitig über den größten Speicher verfügt.
Wir können eine Drilldown für diesen Bucket durchführen, um weitere Einblicke zu erhalten, z. B. die durchschnittliche Objektgröße, den Prozentsatz der nicht aktuellen Versionsbytes oder die größten Präfixe.
3.4 – Anschließend können Sie in der Amazon-S3-Konsole zum Bucket navigieren, um den damit verbundenen Workload zu verstehen und die internen Besitzer des Buckets anhand der Kontonummer zu identifizieren. Sie können dann von den Bucket-Besitzern erfahren, ob dieses Wachstum erwartet wird oder ob es sich um ein unerwartetes Wachstum handelt, das Sie jetzt ordnungsgemäß überwachen und kontrollieren können.
Erhöhen Sie die Nutzung von S3-Speicherklassen
Einer der eindeutigsten Wege zu Einsparungen bei den Speicherkosten ist die Optimierung Ihrer Speicherkosten auf der Grundlage der Zugriffshäufigkeit und der Leistungsanforderungen über Amazon S3-Speicherklassen. Amazon S3 bietet eine Reihe von Speicherklassen, aus denen Sie je nach Datenzugriff, Ausfallsicherheit und Kostenanforderungen Ihrer Workloads auswählen können. Zu diesen Speicherklassen gehören:
- S3-Standard für die allgemeine Speicherung von Daten, auf die häufig zugegriffen wird
- S3 Intelligent-Tiering für Daten mit unbekannten oder sich ändernden Zugriffsmustern
- S3 Standard-Infrequent Access (S3 Standard-IA) und S3 One Zone-Infrequent Access (S3 One Zone-IA) für langlebige, aber seltener abgerufene Daten
- Amazon S3 Glacier Flexible Retrieval, Amazon S3 Glacier Instant Retrieval und Amazon S3 Glacier Deep Archive für Langzeitarchivierung und digitale Bewahrung
Wenn Sie sehen, dass sich alle oder fast alle Ihrer Speicherbytes in der Speicherklasse S3 Standard befinden, bedeutet dies, dass Sie Ihre Nutzung möglicherweise optimieren können, indem Sie weitere S3-Speicherklassen erkunden, die am besten auf Ihren Anwendungsfall abgestimmt sind. Wenn Sie eine solche Ansicht sehen, können Sie wahrscheinlich von der Untersuchung von Entwurfsmustern zur Kostenoptimierung profitieren.
Erstens können Sie die Kostenoptimierung für Sie automatisieren lassen, indem Sie die S3 Intelligent-Tiering-Speicherklasse verwenden, die sich ideal für unbekannte oder sich ändernde Zugriffsmuster eignet. Zweitens können Sie für bekannte Zugriffsmuster Amazon S3-Lebenszyklusrichtlinien konfigurieren, um Ihre Speicherkosten zu senken, indem Sie Ihre Daten zu kostengünstigeren Speicherklassen umstellen, da sich die Zugriffshäufigkeit im Laufe der Zeit verlangsamt. Weitere Informationen zu den genauen Einsparungen finden Sie auf der Amazon S3-Preisseite. Beachten Sie auch die zusätzlichen Kosten für Umstellung und die Verwendung von S3 Glacier-Speicherklassen pro Objekt-Overhead.
Anschließend können Sie Ihre Analyse in S3 Storage Lens fortsetzen, um die Nutzung der Speicherklassen in größerer Tiefe zu untersuchen und die Speicherklassenverteilungen für bestimmte Regionen oder Buckets (oder Präfixe, falls Sie auf die erweiterte Stufe aktualisiert haben) im Detail zu sehen. Es ist üblich, eine Teilmenge von Buckets zu haben, die nicht optimal konfiguriert sind. Hier können Sie von der Verwendung anderer oder zusätzlicher S3-Speicherklassen profitieren. S3 Storage Lens ist ein effektives Tool, um nach diesen Buckets zu suchen, bevor weitere Maßnahmen ergriffen werden.
Entdecken Sie Buckets, welche nicht mehr verwendet werden
Wenn Sie Buckets haben, die nicht mehr genutzt werden, d. h. auf den Speicher in diesen Buckets wird nicht mehr (oder nur noch selten) zugegriffen, ist dies oft ein Hinweis darauf, dass der zugehörige Workload nicht mehr in Gebrauch ist. Wenn Sie die erweiterten Metriken von S3 Storage Lens aktiviert haben, haben Sie Zugriff auf Aktivitätsmetriken, um zu verstehen, wie heiß (oder kalt) Ihre Buckets sind, also wie aktiv sie genutzt werden. Es gibt Metriken wie GET-Anfragen und Download-Bytes, die angeben, wie oft täglich auf Ihre Buckets zugegriffen wird. Sie können diese Daten über mehrere Monate hinweg verfolgen (die erweiterte Datenaufbewahrung ist mit der erweiterten Stufe verfügbar), um die Konstanz der Zugriffsmuster zu verstehen und um Buckets zu erkennen, auf die nicht mehr zugegriffen wird. Die Metrik % der Abrufrate, berechnet als Download-Bytes/Gesamtspeicher, ist eine nützliche Metrik, um den Anteil des Speichers in einem Bucket zu verstehen, auf den täglich zugegriffen wird. Beachten Sie, dass die Download-Bytes dupliziert werden, wenn dasselbe Objekt mehrmals am Tag heruntergeladen wird.
Der beste Weg, um nicht mehr genutzte Eimer zu visualisieren, ist die Blasenanalysediagramm auf der Registerkarte Bucket des Dashboards. Mit dem Blasenanalysediagramm können Sie Ihre Buckets in mehreren Dimensionen grafisch darstellen, wobei Sie drei beliebige Metriken verwenden, um die X-Achse, Y-Achse und Größe der Blase darzustellen.
3.6 – Navigieren Sie zur Registerkarte Bucket und dann nach unten zum Blasenanalysediagramm. Wählen Sie Gesamtspeicher, Abrufrate% und Durchschnittliche Objektgröße aus.
Wenn Sie einen Drill Down für alle Buckets mit einer Abrufrate von Null (oder fast Null) und einer größeren relativen Speichergröße durchführen, können Sie Buckets finden, die nicht mehr genutzt werden und bei denen die Speicherkosten wahrscheinlich so hoch sind, dass ein Eingreifen erforderlich ist. Für dieses Beispiel werden wir uns Bucket10 und Bucket1 ansehen.
Von hier aus können Sie die Bucket-Besitzer in Ihrer Organisation identifizieren, um den Zweck des Workloads zu bestätigen und herauszufinden, ob der Speicher noch benötigt wird. Wenn er nicht benötigt wird, können Sie Kosten senken, indem Sie Richtlinien zum Ablauf des Lebenszyklus konfigurieren oder die Daten in den Amazon S3 Glacier-Speicherklassen archivieren. Und um das Problem von „kalten“ Buckets in Zukunft zu vermeiden, können Sie eines der empfohlenen Entwurfsmuster anwenden, die bereits in diesem Leitfaden erwähnt wurden, um Ihre Daten mithilfe von S3-Lebenszyklusrichtlinien automatisch zu übertragen oder die automatische Archivierung mit S3 Intelligent-Tiering zu aktivieren.
Schritt 4: Bereinigen
Für dieses Tutorial empfehlen wir, dass Sie erweiterte Metriken und Empfehlungen aktiviert lassen, wenn Sie in den abgerufenen Erkenntnissen einen Mehrwert finden. Beachten Sie, dass Ihnen weiterhin Kosten entstehen, wenn Sie diese Option wählen.
Alternativ können Sie auch festlegen, dass keine zusätzlichen Kosten mehr anfallen, indem Sie die erweiterten Metriken und Empfehlungen deaktivieren. Sie haben weiterhin Zugriff auf kostenlose Metriken in Ihrem Dashboard.
4.2 – Wählen Sie oben rechts auf der Dashboard-Konfigurationsseite die Schaltfläche Bearbeiten.
4.3 – Scrollen Sie nach unten zum Auswahlbereich für Metriken und wählen Sie Kostenlose Metriken. Wählen Sie als Nächstes Änderungen speichern aus.
Zusammenfassung
Herzlichen Glückwunsch! Sie haben gelernt, ein Amazon S3 Storage Lens-Dashboard zu erstellen, zu konfigurieren und darin zu navigieren, und drei Anwendungsfälle zur Optimierung Ihrer Objektspeicherkosten untersucht.
Nächste Schritte
Weitere Informationen zu Amazon S3 Storage Lens finden Sie im Amazon S3-Benutzerhandbuch und auf der Produktseite.