Anwendungsfälle für AWS Step Functions

In diesem Beispiel eines einfachen Bankensystems wird nach der Überprüfung des Namens und der Adresse eines Kunden ein neues Bankkonto eingerichtet. Der Workflow startet mit den zwei Lambda-Funktionen CheckName und CheckAddress, die parallel als Aufgabenstatus ausgeführt werden. Sobald beide abgeschlossen sind, wird die Lambda-Funktion ApproveApplication im Workflow ausgeführt. Sie können Retry- und Catch-Klauseln definieren, um Fehler aus dem Aufgabenstatus zu behandeln. Sie können vordefinierte Systemfehler verwenden oder benutzerdefinierte Fehler behandeln, die von diesen Lambda-Funktionen in Ihrem Workflow ausgelöst werden. Weil Ihr Workflow-Code die Fehlerbehandlung übernimmt, können sich die Lambda-Funktionen auf die Geschäftslogik konzentrieren und haben weniger Code. Express-Workflows wären für dieses Beispiel besser geeignet, da die Lambda-Funktionen Aufgaben ausführen, die zusammen weniger als fünf Minuten dauern, ohne externe Abhängigkeiten. 

Manchmal muss ein Mensch einen Schritt im Geschäftsprozess überprüfen und genehmigen oder ablehnen, damit der Workflow mit dem nächsten Schritt fortfahren kann. Wir empfehlen die Verwendung von Standard-Workflows, wenn Ihr Workflow auf einen Menschen warten muss, oder für Prozesse, bei denen ein externes System möglicherweise mehr als fünf Minuten braucht, um zu reagieren. Hier erweitern wir den Prozess für die Eröffnung eines neuen Kontos um einen Zwischenschritt zur Benachrichtigung des Genehmigers. Der Workflow beginnt mit der parallelen Ausführung der Aufgabenstatus CheckName und CheckAddress. Der nächste Status ReviewRequired ist ein Auswahlstatus mit zwei möglichen Pfaden – entweder senden Sie eine SNS-Benachrichtigung per E-Mail an den Genehmigenden in der Aufgabe NotifyApprover oder Sie fahren mit dem Status ApproveApplication fort. Der Aufgabenstatus NotifyApprover sendet eine E-Mail an den Genehmigenden und wartet auf eine Antwort, bevor er zum nächsten Auswahlstatus „Approved“ (Genehmigt) weitergeht. Auf der Grundlage der Entscheidung des Genehmigers wird der Kontoantrag über Lambda-Funktionen entweder genehmigt oder abgelehnt.

In diesem Beispiel erfüllt ein Ereignis auf einem benutzerdefinierten Eventbridge-Bus eine Regel und ruft einen Step-Functions-Workflow als Ziel auf. Angenommen, Sie haben eine Kundenservice-Anwendung, die abgelaufene Kundenabonnements verwalten soll. Eine EventBridge-Regel horcht auf Ereignisse, deren Abonnement abgelaufen ist, und ruft als Antwort einen Ziel-Workflow auf. Der Workflow für abgelaufene Abonnements deaktiviert alle Ressourcen, die das abgelaufene Abonnement besitzt, ohne sie zu löschen, und benachrichtigt den Kunden per E-Mail über sein abgelaufenes Abonnement. Diese beiden Aktionen können mit Lambda-Funktionen parallel ausgeführt werden. Am Ende des Workflows wird über eine Lambda-Funktion ein neues Ereignis an den Event Bus gesendet, das anzeigt, dass der Ablauf des Abonnements verarbeitet wurde. Für dieses Beispiel empfehlen wir die Verwendung von Express-Workflows. Wenn Ihr Unternehmen wächst und Sie beginnen, mehr Ereignisse in den Event Bus aufzunehmen, ist die Fähigkeit, 100 000 Workflow-Ausführungen pro Sekunde mit Express Workflows aufzurufen, sehr leistungsstark. Sehen Sie sich das Beispiel in Aktion mit diesem Github-Repository an.

Sie können AWS Step Functions verwenden, um einen automatisierten Workflow zur Reaktion auf Sicherheitsvorfälle zu erstellen, der einen manuellen Genehmigungsschritt enthält. In diesem Beispiel wird ein Workflow von Step Functions ausgelöst, wenn eine IAM-Richtlinie erstellt wird. Der Workflow vergleicht die Richtlinienaktion mit einer anpassbaren Liste von Einschränkungen. Der Workflow setzt die Richtlinie vorübergehend zurück, benachrichtigt anschließend einen Administrator und wartet darauf, dass dieser sie genehmigt oder ablehnt. Sie können diesen Workflow erweitern, um automatisch Korrekturen vorzunehmen, beispielsweise durch die Anwendung alternativer Aktionen oder die Beschränkung von Aktionen auf bestimmte ARNs. Sehen Sie sich dieses Beispiel hier in Aktion an.

Sie können den betrieblichen Aufwand für die Wartung Ihrer AWS-Cloud-Infrastruktur reduzieren, indem Sie die Reaktion auf Betriebsereignisse für Ihre AWS-Ressourcen automatisieren. Amazon EventBridge bietet einen nahezu in Echtzeit ablaufenden Strom von Systemereignissen, die die Änderungen und Benachrichtigungen für Ihre AWS-Ressourcen beschreiben. Aus diesem Datenstrom können Sie Regeln erstellen, um bestimmte Ereignisse an AWS Step Functions, AWS Lambda und andere AWS-Services zur weiteren Verarbeitung und für automatisierte Aktionen weiterzuleiten. In diesem Beispiel wird ein Workflow für AWS Step Functions auf der Grundlage eines Ereignisses ausgelöst, das von AWS-Servicestatus stammt. AWS überwacht proaktiv beliebte Code-Repository-Seiten auf IAM-Zugangsschlüssel, die öffentlich zugänglich gemacht wurden. Lassen Sie uns annehmen, dass ein IAM-Zugangsschlüssel auf GitHub veröffentlicht wurde. AWS-Servicestatus erzeugt ein AWS_RISK_CREDENTIALS_EXPOSED-Ereignis im AWS-Konto, das sich auf den exponierten Schlüssel bezieht. Eine konfigurierte Regel von Amazon Eventbridge erkennt dieses Ereignis und ruft einen Workflow für Step Functions auf. Mithilfe von AWS-Lambda-Funktionen löscht der Workflow dann den exponierten IAM-Zugangsschlüssel, fasst die jüngsten API-Aktivitäten für den exponierten Schlüssel zusammen und sendet die zusammenfassende Nachricht an ein Amazon-SNS-Thema, um die Abonnenten zu benachrichtigen – in dieser Reihenfolge. Sehen Sie sich dieses Beispiel hier in Aktion an.

Sie können Amazon S3 verwenden, um eine statische Website zu hosten, und Amazon CloudFront, um die Inhalte weltweit zu verteilen. Als Website-Betreiber benötigen Sie möglicherweise zwei S3-Buckets für das Hochladen Ihrer Website-Inhalte: eines für das Staging und Testen und eines für die Produktion. Sie wollen den Produktions-Bucket mit allen Änderungen aus dem Staging-Bucket aktualisieren, ohne bei jeder Aktualisierung Ihrer Website einen neuen Bucket von Grund auf neu erstellen zu müssen. In diesem Beispiel führt der Workflow von Step Functions Aufgaben in zwei parallelen und unabhängigen Schleifen aus: Eine Schleife kopiert alle Objekte vom Quell-Bucket in den Ziel-Bucket, lässt aber die bereits im Ziel-Bucket vorhandenen Objekte aus. Die zweite Schleife löscht alle Objekte im Ziel-Bucket, die im Quell-Bucket nicht gefunden wurden. Eine Reihe von AWS-Lambda-Funktionen führt die einzelnen Schritte aus: Validieren der Eingabe, Abrufen der Objektlisten aus Quell- und Ziel-Buckets und Kopieren oder Löschen von Objekten in Stapeln. Sehen Sie sich dieses Beispiel mit dem dazugehörigen Code hier im Detail an. Erfahren Sie hier mehr darüber, wie Sie parallele Ausführungszweige in Ihrem Zustandsautomaten erstellen können.

In diesem Beispiel hat Freebird eine Datenverarbeitungspipeline entwickelt, um Webhook-Daten aus mehreren Quellen in Echtzeit zu verarbeiten und Lambda-Funktionen auszuführen, die die Daten modifizieren. In diesem Anwendungsfall werden Webhook-Daten von mehreren Drittanbieteranwendungen über Amazon API Gateway an einen Datenstrom von Amazon Kinesis gesendet. Eine AWS-Lambda-Funktion ruft Daten aus diesem Kinesis-Strom ab und stößt einen Express-Workflow an. Dieser Workflow durchläuft eine Reihe von Schritten zur Validierung, Verarbeitung und Normalisierung dieser Daten. Am Ende aktualisiert eine Lambda-Funktion das SNS-Thema, das Nachrichten an nachgelagerte Lambda-Funktionen für nächste Schritte durch eine SQS-Warteschlange auslöst. Sie können bis zu 100 000 Aufrufe dieses Workflows pro Sekunde für die Skalierung der Datenverarbeitungspipeline verwenden.

Sie können Step Functions verwenden, um alle Schritte eines ETL-Prozesses mit verschiedenen Datenquellen und Zielen zu orchestrieren. 

In diesem Beispiel aktualisiert der ETL-Workflow von Step Functions Amazon Redshift immer dann, wenn neue Daten im S3-Quell-Bucket verfügbar sind. Der Zustandsautomat von Step Functions initiiert einen AWS-Batch-Auftrag und überwacht seinen Status auf Fertigstellung oder Fehler. Der AWS-Batch-Auftrag holt das .sql-Skript des ETL-Workflows aus der Quelle, also Amazon S3, und aktualisiert das Ziel, also Amazon Redshift, über einen PL/SQL-Container. Die SQL-Datei enthält den SQL-Code für jeden Schritt der Datentransformation. Sie können den ETL-Workflow mit einem EventBridge-Ereignis oder manuell über die AWS-CLI oder mithilfe von AWS-SDKs oder sogar einem benutzerdefinierten Automatisierungsskript auslösen. Sie können einen Administrator über SNS benachrichtigen, das bei Fehlern in einem beliebigen Schritt des Workflows oder am Ende der Workflow-Ausführung eine E-Mail auslöst. Dieser ETL-Workflow ist ein Beispiel dafür, wie Sie Standard-Workflows verwenden können. Sehen Sie sich dieses Beispiel hier im Detail an. Hier erfahren Sie mehr über das Einreichen eines AWS-Batch-Auftrags anhand eines Beispielprojekts.

ETL-Vorgänge (ETL – Extrahieren, Laden und Transformieren) wandeln Rohdaten in nützliche Datensätze um, so dass aus Daten verwertbare Erkenntnisse werden. 

Sie können Step Functions verwenden, um mehrere ETL-Aufträge parallel auszuführen, wenn Ihre Quelldatensätze zu unterschiedlichen Zeiten verfügbar sind. Jeder ETL-Auftrag wird erst ausgelöst, wenn der entsprechende Datensatz verfügbar ist. Diese ETL-Aufträge können von verschiedenen AWS-Services verwaltet werden, wie AWS, Glue, Amazon EMR, Amazon Athena oder sonstigen Nicht-AWS-Services.
In diesem Beispiel werden zwei separate ETL-Aufträge auf AWS Glue ausgeführt, die einen Vertriebsdatensatz und einen Marketingdatensatz verarbeiten. Sobald beide Datensätze verarbeitet sind, kombiniert ein dritter ETL-Auftrag die Ausgaben der vorherigen ETL-Aufträge, um einen kombinierten Datensatz zu erstellen. Der Workflow von Step Functions wartet, bis die Daten in S3 verfügbar sind. Während der Haupt-Workflow nach einem Zeitplan gestartet wird, wird ein EventBridge-Ereignishandler auf einem Amazon-S3-Bucket konfiguriert, so dass die Zustandsmaschine den ETL-Auftrag „ProcessSalesData“ oder „ProcessMarketingData“ auslösen kann, wenn Vertriebs- oder Marketing-Datensatzdateien in den Bucket hochgeladen werden. Dies hängt davon ab, welcher Datensatz verfügbar wurde. 

Sehen Sie sich diese Architektur hier im Detail an, um die ETL-Orchestrierung in Ihrem AWS-Konto einzurichten. Erfahren Sie hier, wie Sie einen AWS-Batch-Auftrag über Step Functions verwalten.

Sie können Step Functions verwenden, um über mehrere Millionen Elemente in einem Datensatz zu iterieren, beispielsweise ein JSON-Array, eine Liste von Objekten in S3 oder eine CSV-Datei in einem S3-Bucket. Sie können die Daten dann parallel und in hoher Gleichzeitigkeit verarbeiten.

In diesem Beispiel verwendet der Workflow von Step Functions einen Zuordnungsstatus im verteilten Modus, um eine Liste von S3-Objekten in einem S3-Bucket zu verarbeiten. Step Functions iteriert über die Liste der Objekte und startet dann Tausende von gleichzeitig ablaufenden, parallelen Workflows, um die Elemente zu verarbeiten. Sie können Datenverarbeitungsservices wie Lambda verwenden, die Ihnen beim Schreiben von Code in jeder unterstützten Sprache helfen. Sie können auch aus über 220 speziell entwickelten AWS-Services wählen, um sie in den Workflow des Zuordnungsstatus aufzunehmen. Sobald die Ausführung untergeordneter Workflows abgeschlossen ist, kann Step Functions die Ergebnisse in einen S3-Bucket exportieren, damit sie zur Überprüfung oder zur weiteren Verarbeitung zur Verfügung stehen.