Autodesk entwickelt zuverlässige, kostengünstige Big-Data-Analytik mit Amazon EMR

Das 1982 gegründete Unternehmen Autodesk stellt 3D-Design-, Konstruktions- und Unterhaltungssoftware her, die von mehr als 100 Millionen Kunden weltweit genutzt wird. Die AutoCAD-Software hilft Architekten, Ingenieuren und Baufachleuten, präzise digitale Zeichnungen zu erstellen. Als datengesteuertes Unternehmen nutzt Autodesk Analysen und Erkenntnisse, um seinen Kunden bessere Lösungen und Features zu bieten. Die Big-Data-Lösung eines Drittanbieters konnte jedoch nicht mit dem Wachstum des Unternehmens Schritt halten.

„Unsere vorherige Lösung hatte eine Menge Probleme mit der Zuverlässigkeit“, so Nick Wilson, Senior Engineering Manager bei Autodesk. „Daten sind ein wesentlicher Bestandteil des Geschäfts von Autodesk. Wir brauchten einen neuen Anbieter, der die von uns geforderte Zuverlässigkeit bietet und mit unserem Wachstumskurs mitwachsen kann.“

Nach der Evaluierung verschiedener Lösungen hinsichtlich Zuverlässigkeit und Leistung entschied sich Autodesk für die Migration zu Amazon EMR. „Autodesk ist ein AWS-Betrieb, und wir können auf eine lange Geschichte der Nutzung von AWS-Services zurückblicken“, erklärt Wilson. „AWS bot auch viel mehr Serviceangebote für die Kosten, die wir bezahlten. Wir konnten einen Weg finden, um jeden Workload von unserem Drittanbieter zu Amazon EMR und anderen AWS-Services zu migrieren.“

Die Migration der Big-Data-Workloadsvon Autodesk zu Amazon EMR war keine einfache Aufgabe. Dazu mussten die Workloads von 30 verschiedenen Teams migriert werden, die jeweils unterschiedliche Programmiersprachen verwenden und unterschiedliche Arten von Abfragen durchführen. Außerdem liefen alle geschäftskritischen Workloads von Autodesk auf der Lösung des Drittanbieters, und das Unternehmen musste unnötige Unterbrechungen während des Prozesses vermeiden. Um die komplexe Migration zu erleichtern, nahm Autodesk am AWS Migration Acceleration Program (AWS MAP) teil, das mit einer ergebnisorientierten Methodik zur Beschleunigung von Cloud-Migrations- und Modernisierungsprozessen beiträgt. AWS MAP unterstützte Autodesk nicht nur bei den technischen Aspekten der Migration, sondern bot auch Gutschriften, um einen Teil der Kosten auszugleichen.

„Bei jeder Migration zu einem neuen Dienst wird die Rechenleistung nicht optimiert, bevor man nicht einige Erfahrung damit gesammelt hat“, so Wilson. „Mit den AWS-MAP-Preisen konnten wir die Auswirkungen der Migration auf unser Ergebnis minimieren und einen nahtlosen Übergang schaffen.“

Autodesk führt Apache Spark, eine Open-Source-Unified-Analytics-Engine, auf Amazon EMR aus, das als primäre Compute-Engine dient. Spark-Cluster unterstützen alle Datenverarbeitungs- und Extraktions-, Lade- und Transformationspipelines. Um die Datenlast zu bewältigen, fügt Autodesk den Spark-Instances Volumes hinzu, die von Amazon Elastic Block Store (Amazon EBS), einem skalierbaren, leistungsstarken Blockspeicherdienst, bereitgestellt werden. Diese Dienste sind nahtlos skalierbar, um die Daten von Autodesk zu verarbeiten, die 1 PB umfassen und jeden Monat wachsen. Zur Bereitstellung von Dashboards und Analysen führt Autodesk Presto, eine verteilte Open-Source-SQL-Abfrage-Engine, auf Amazon EMR aus.

„Presto in Amazon EMR ist ein grundlegender Teil des Entwicklerflusses“, so Wilson. „Es hilft unserem Team, mit Daten zu interagieren und aus ihnen zu lernen, und liefert allgemeine Geschäftseinblicke, die bei der Entwicklung neuer Produkte helfen.“

Durch die Einführung von Amazon EMR hat Autodesk die Zuverlässigkeit seines Big-Data-Service erheblich verbessert. Für Workloads, die auf Apache Spark und Presto basieren, hat das Unternehmen eine Verfügbarkeit von 99,8 Prozent erreicht und keine nennenswerten Ausfälle oder Serviceunterbrechungen erlebt. Autodesk hat außerdem den Zeitaufwand für die Fehlersuche um 25 Prozent reduziert.

Das Entwicklungsteam schätzt diese konstante Zuverlässigkeit sehr und kann seine Ressourcen nun auf andere Bereiche des Unternehmens konzentrieren. „Früher wollte ich am Sonntag nicht in die Unternehmensmitteilungen schauen. Ich musste oft feststellen, dass geschäftskritische Prozesse unterbrochen waren, weil unsere Drittanbieterlösung nicht funktionierte“, erklärt Wilson. „Jetzt laufen unsere Pipelines stabil, die Cluster laufen wie erwartet, und wir erfüllen unsere Service-Level-Vereinbarungen. Wir verfügen heute über ein viel stabileres System, das auf Amazon EMR läuft, als wir es vor der Migration hatten.“

Abbildung 1. Auftragsübermittlung und Migration