Autodesk reduziert mithilfe von AWS die Kosten für die Verarbeitung von Big Data um 90 %

Autodesk ist ein führender Softwareanbieter für 3D-Design für die Architektur-, Ingenieur-, Fertigungs-, Medien- und Unterhaltungsindustrie. Mehr als 100 Millionen Menschen weltweit nutzen Autodesk-Produkte, darunter Computer-Aided Design und Building Information Modelling Software.

Um mit der wachsenden Nutzerbasis Schritt zu halten, hat Autodesk gemeinsam mit Amazon Web Services (AWS) die Autodesk Data Platform (ADP) überarbeitet, ein Data Warehouse, das detaillierte Einblicke und Analysen zur Produktnutzung liefert. Autodesk stützt sich auf die von der ADP abgeleiteten Metriken – wie z. B. aktive Benutzer, Benutzerakzeptanz, Produktversionen usw. – um die Produktleistung zu verbessern und neue Möglichkeiten für eine bessere Betreuung seiner Kunden zu ermitteln.

Im August 2019 empfing ADP etwa 150 GB Daten pro Stunde, was 50 GB mehr war, als verarbeitet werden konnten. Autodesk rechnete mit einem schnellen Anstieg des Datenvolumens aufgrund von zwei Schlüsselfaktoren: Autodesk gewann mehr Software-Subscriber hinzu und jede neue Version Desktop-Produkte des Unternehmens generierte mehr Produktnutzungsdaten.

„Wir konnten vorhersagen, dass ADP zukünftig eine riesige Datenmenge verarbeiten muss und Verbesserungen erforderlich sind. Wir mussten unser bestehendes System so verbessern, dass es eine eingehende Datenflut von bis zum Zehnfachen von 150 GB verarbeiten konnte – die größte Datenmenge, die die Plattform je verarbeiten musste. Unser Ziel war es außerdem, die Geschwindigkeit der Datenverarbeitung und -verfügbarkeit auf eine Stunde zu verbessern und die Verarbeitungskosten um 70 Prozent zu senken“, erklärt Deanne Marie Lim, Senior Data Engineering Manager bei Autodesk, Asia Pacific.

Vor dem Transformationsprojekt führte Autodesk seine Datenplattform in einem Spark-basierten System in AWS aus. Das Autodesk-Team beobachtete die Produktnutzung auf stündlicher Basis und nutzte Amazon Elastic Compute Cloud (Amazon EC2), um die stündliche Bereinigung und Verarbeitung der Rohdaten zu planen. Aufgrund der begrenzten horizontalen Skalierbarkeit der Plattform kam es jedoch häufig zu Ausfällen, wenn das Datenvolumen in einer bestimmten Stunde auf über 100 GB anstieg. Dann musste das Team den Auftrag manuell wiederholen, was zusätzliche Kosten verursachte und die Effizienz des Teams beeinträchtigte.

Darüber hinaus musste Autodesk nach der Bereinigung der Rohdaten – die bis zu vier Stunden in Anspruch nahm – den Schritt Extract, Transform, Load (ETL) durchführen, um diese Daten in Dashboards darzustellen. Da dieser Bereinigungs- und Anreicherungsprozess den am weitesten vorgelagerten Datensatz erzeugt, der als Grundlage für alle anderen ETL- und Dashboard-Prozesse dient, beeinträchtigt jeder Ausfall oder jede Verzögerung die Fähigkeit des Unternehmens, Möglichkeiten für Produktverbesserungen und andere Geschäftsentwicklungen zeitnah zu erkennen.

„Als Teil des AWS-Partnernetzwerks (APN) konnten wir aus erster Hand erfahren, wie wir Serverless-Lösungen zur Verbesserung unserer Datenplattform nutzen können. AWS stellte wertvolle Tools und Technologien zur Verfügung, die wir zur Bewältigung unserer aktuellen Herausforderungen benötigen. Insbesondere AWS Lambda und Amazon DynamoDB haben uns dabei geholfen, die Probleme zu lösen, die wir mit unserem bestehenden Datenbereinigungs- und Anreicherungsprozess hatten. Wir haben innerhalb eines Jahres eine nachhaltige, skalierbare und kostengünstige Lösung entwickelt“, fügt Lim hinzu.

AWS half bei der Umstellung der ADP von einem Stapelverarbeitungsmodell auf ein ereignisbasiertes Modell, das auf AWS Lambda läuft. Dadurch kann Autodesk die Daten sofort nach ihrem Eintreffen verarbeiten und nicht erst zu einem bestimmten Zeitpunkt, was zu einer verzögerten Analyse führte. AWS Lambda automatisierte ETL-Aggregationen, und die Daten werden jetzt fast in Echtzeit verarbeitet, im Vergleich zu stündlichen Zyklen.

Um einen hohen Durchsatz, niedrige Latenzzeiten und nahezu Echtzeitverarbeitung zu ermöglichen, integrierte Autodesk Amazon DynamoDB. Mit Amazon DynamoDB verarbeitet das ADP Tausende von gleichzeitigen Anfragen innerhalb von Millisekunden. Darüber hinaus wurde Amazon Simple Storage Service (Amazon S3) verwendet, um einen sicheren Datenspeicher aufzubauen und eine hohe Datenverfügbarkeit zu erreichen.

Die ADP kann nun täglich mehr als sechs Milliarden Datenereignisse, d. h. 12 TB an Daten, automatisch verarbeiten, und die Daten stehen innerhalb von zwei Minuten nach Dateneingang zur Verfügung – vorher waren es vier Stunden.

Lim fasst zusammen: „Dank AWS haben wir unsere Ziele übertroffen. Wir haben die Kosten um bis zu 90 Prozent gesenkt und die Analysefunktionen für Geschäftsanwender durch Datenverarbeitung in nahezu Echtzeit verbessert. Wir können jetzt sinnvollere Verbesserungen für die Nutzer vornehmen. Indem wir zum Beispiel in Echtzeit gesammelte Daten über frühere Nutzeraktivitäten verfolgen, können wir den Endnutzern Empfehlungen geben, wie sie die Nutzung unserer Software verbessern können. Mit AWS können wir unseren Kunden jetzt wertvolle Erkenntnisse liefern.“

Der Erfolg dieser Implementierung hat Autodesk angespornt, die Zusammenarbeit mit AWS fortzusetzen, um die ereignisbasierte Modellierung für andere Produktnutzungsdatensätze anzuwenden. Mit Blick auf die Zukunft plant Autodesk, seine Datenplattform zur Unterstützung von prädiktiven Analysen weiterzuentwickeln. Dies wird es dem Unternehmen ermöglichen, ein verbessertes Nutzererlebnis zu bieten, indem es gängige Nutzungsmuster analysiert und in Echtzeit Empfehlungen zur Verbesserung des Nutzererlebnisses gibt.