Übersicht
Die Skalierung der Datenverarbeitung in AWS unterstützt Kunden beim Bereitstellen und Betreiben einer Mehrbenutzerumgebung für rechenintensive Workflows, wie z. B. Computer-Aided-Engineering (CAE). Diese AWS-Lösung bietet eine große Auswahl an Datenverarbeitungsressourcen, einen schnellen Netzwerk-Backbone, unbegrenzten Speicherplatz und eine direkt in AWS integrierte Budget- und Kostenverwaltung.
Vorteile
Stellen Sie eine Beispiel-Benutzeroberfläche (UI) mit einem gemeinsamen Satz von APIs bereit und richten Sie sie ein, die es dem Administrator und den Benutzern ermöglichen, mit ihrem Amazon Elastic Compute Cloud (Amazon EC2)-Cluster zu interagieren.
Helfen Sie Benutzern, einfach auf den EC2-Cluster zuzugreifen, um alle Visualisierungsaktionen vor und nach der Verarbeitung mithilfe Desktop Cloud Visualization (DCV)-Grafiksitzungen durchzuführen.
Erfassen Sie Scheduler und Anwendungsprotokolle nahezu in Echtzeit und speichern Sie sie dann zur weiteren Verarbeitung im Data Lake.
Passen Sie eine Sammlung von Skripten an, die mit der Lösung bereitgestellt werden, und erweitern Sie sie, um Benutzern zu helfen, Daten zu sammeln und allgemeine Clusteraufgaben auszuführen.
Technische Details
Sie können diese Architektur mithilfe des Implementierungsleitfadens automatisch bereitstellen.
Schritt 1
Amazon EC2 Auto Scaling stellt automatisch die Ressourcen bereit, die für die Ausführung von Cluster-Benutzeraufgaben wie Scale-Out-Datenverarbeitungsaufträgen erforderlich sind.
Schritt 2
Diese Lösung stellt auch Amazon Elastic File System (Amazon EFS) für persistenten Speicher, Amazon Simple Storage Service (Amazon S3) für persistente Protokolle und das optionale parallele Dateisystem Amazon FSx für Lustre bereit.
Schritt 3
Im Wesentlichen implementiert die Amazon Elastic Compute Cloud (Amazon EC2)-Instance einen Scheduler, der dynamisch AWS-Ressourcen bereitstellt, die für von Benutzern eingereichte Aufträge benötigt werden. Die Scheduler-Instance hostet auch eine Webschnittstelle, über die Benutzer und Administratoren mit der Umgebung interagieren können.
Schritt 4
Starten Sie eine 2D- oder 3D-Workstation, die Amazon DCV verwendet, das zum Senden von Batch-Aufträgen und zum Ausführen von GUI-Tools verwendet werden kann.
Schritt 5
Unter den verwendenten Sicherheitsservices und -Ressourcen finden Sie auch AWS Secrets Manager, AWS Certificate Manager, Sicherheitsgruppen und AWS Identity and Access Management (IAM).
Schritt 6
AWS-Lambda-Funktionen überprüfen die erforderlichen Voraussetzungen und erstellen ein standardmäßig signiertes Zertifikat für Application Load Balancer (ALB) zur Verwaltung des Zugriffs auf DCV-Arbeitsplatzsitzungen.
Schritt 7
Ein Amazon-OpenSearch-Service-Cluster speichert Auftrags- und Hostinformationen.
Schritt 8
Elastic Load Balancing wird verwendet, um die Erreichbarkeit über Availability Zones hinweg sicherzustellen, und Kostenzuweisungs-Tags werden mit AWS Cost Explorer benutzt.
Schritt 1
Amazon EC2 Auto Scaling stellt automatisch die notwendigen Ressourcen bereit, um Cluster-Benutzeraufgaben wie Aufskalierungs-Rechenaufträge auszuführen.
Schritt 2
Diese Lösung stellt auch Amazon Elastic File System (Amazon EFS) für persistenten Speicher, Amazon Simple Storage Service (Amazon S3) für persistente Protokolle und das optionale parallele Dateisystem Amazon FSx für Lustre bereit.
Schritt 3
Im Wesentlichen implementiert die Amazon Elastic Compute Cloud (Amazon EC2)-Instance einen Scheduler, der dynamisch AWS-Ressourcen bereitstellt, die für von Benutzern eingereichte Aufträge benötigt werden. Die Scheduler-Instance hostet auch eine Webschnittstelle, über die Benutzer und Administratoren mit der Umgebung interagieren können.
Schritt 4
Starten Sie eine 2D- oder 3D-Workstation, die Amazon DCV verwendet, das zum Senden von Batch-Aufträgen und zum Ausführen von GUI-Tools verwendet werden kann.
Schritt 5
Unter den verwendenten Sicherheitsservices und -Ressourcen finden Sie auch AWS Secrets Manager, AWS Certificate Manager, Sicherheitsgruppen und AWS Identity and Access Management (IAM).
Schritt 6
AWS-Lambda-Funktionen überprüfen die erforderlichen Voraussetzungen und erstellen ein standardmäßig signiertes Zertifikat für Application Load Balancer (ALB) zur Verwaltung des Zugriffs auf DCV-Arbeitsplatzsitzungen.
Schritt 7
Ein Amazon-OpenSearch-Service-Cluster speichert Auftrags- und Hostinformationen.
Schritt 8
Elastic Load Balancing wird verwendet, um die Erreichbarkeit über Availability Zones hinweg sicherzustellen, und Kostenzuweisungs-Tags werden mit AWS Cost Explorer benutzt.
- Datum der Veröffentlichung
Ähnliche Inhalte
Dieses Video zeigt eine Präsentation von re:Invent 2020, in der detailliert beschrieben wird, wie Rivian Hindernisse überwand und das Erlebnis der Techniker verbesserte und gleichzeitig Self-Service mit cloudbasierten Services und Automatisierung förderte.
Dieses Video zeigt, wie die Skalierung der Datenverarbeitung in AWS implementiert wird, um eine Mehrbenutzerumgebung für rechenintensive Workflows bereitzustellen und zu betreiben.