Autodesk entwickelt eine einheitliche Protokollanalyselösung auf AWS, um neue Erkenntnisse zu gewinnen

Autodesk, führender Anbieter von 3D-Design- und Konstruktionssoftware möchte mehr tun, als Software zu entwickeln und bereitzustellen. Das Unternehmen möchte sicherstellen, dass Millionen von Benutzern weltweit ein optimales Erlebnis bei der Ausführung dieser Software geboten wird. Um das zu erreichen, muss Autodesk Softwareprobleme überwachen und schnellstmöglich beheben. Allerdings stellte das eine Herausforderung dar. Die vorherige Anwendungsdatenprotokolllösung des Unternehmens konnte mit dem wachsenden Datenvolumen, das es zu analysieren und zu speichern galt, nicht Schritt halten.

Die Lösung erfasst 2 TB an Daten täglich und diese Zahl soll innerhalb der nächsten Jahre voraussichtlich auf 10 TB anwachsen. "Wir hatten in Bezug auf die Lösung einige Probleme mit der Leistung. Deshalb war es für uns schwierig, Probleme schnell zu erkennen", sagt Tommy Li, Senior Software Architect bei Autodesk. "Wir brauchten die Möglichkeit, Daten zu Protokollierungsvorfällen in Echtzeit zu überwachen, um Kundenfragen schneller beantworten zu können."

Außerdem wurde Autodesk auch von seiner Finanzabteilung aufgefordert, eine kostengünstigere Protokollierungslösung zu finden. "Wir haben ein kleines Team und wir wollten eine Lösung finden, mit der die Verwaltung von Protokolldaten vereinfacht und die Kosten gleichzeitig gesenkt werden", sagt Li.

"Letztlich verbessern wir unsere Softwareprodukte und bieten unseren Kunden aufgrund der Echtzeit-Transparenz, die wir in Bezug auf unsere Protokolldaten erreichen, einen besseren Service."

Tommy Li, Senior Software Architect, Autodesk

  • Informationen zu Autodesk

  • Autodesk ist ein Softwareunternehmen mit Sitz in San Rafael (Kalifornien) und entwickelt Produkte für die Bereiche Architektur, Engineering, Baugewerbe, Fertigung, Medien und Unterhaltung. Zu den Softwareprodukten des Unternehmens zählen AutoCAD- und 3D-Lösungen.

  • Vorteile
    • Schnelleres Auffinden und Beheben von Anwendungsproblemen durch Datenanalysen in Echtzeit
    • Verbessern der durchschnittlichen Dauer für Erkennung und Wiederherstellung
    • Entwickeln von Lösungen zur Analyse der Unternehmensdatenprotokollierung mit einem kleinen IT-Team
  • Genutzte AWS-Services

Erstellen einer vollständig verwalteten und einheitlichen Protokolldatenlösung in AWS

Um die Protokollanalysefunktionen für die Ursachenanalyse zu verbessern, hat Autodesk die Entwicklung einer cloud-basierten und einheitlichen Protokolldatenlösung mithilfe von Amazon Web Services (AWS) erforscht. "Wir hatten AWS-Services zuvor bereits für verschiedene interne Funktionen bei Autodesk genutzt und wollten diese Nutzung mit der Entwicklung eines einheitlichen Protokollierungssystems ausweiten", sagt Li.

Amazon Data Firehose dient als Datenübertragungsebene für die Protokollierung von Daten und Amazon Managed Service für Apache Flink wird verwendet, um Kennzahlen zur Echtzeitüberwachung wie Reaktionszeit und Fehlerratenspitzen aufzudecken. Wenn die Protokollierungsdaten über diese Pipeline übertragen werden, werden sie an Amazon CloudWatch gesendet, um zusätzliche Kennzahlen zu erhalten, die auf standardisierten Dashboads im gesamten Unternehmen angezeigt werden. Diese Metriken enthalten eine Zusammenfassung des gesamten Datenverkehrs, einschließlich Reaktionszeit, Fehler und Gesamtanforderungen; API-Metriken wie Reaktionszeit-Perzentile, die Anzahl der erfolgreichen Anforderungen und die Anzahl der Fehleranforderungen; CPU, Netzwerk und Festplatten für jede CPU sowie Amazon-CloudWatch-Metriken für AWS-Services.

Gleichzeitig liefert Amazon Data Firehose die Protokolldaten an Amazon OpenSearch Service, einen verwalteten Service, der Ihnen erleichtert, interaktive Protokollanalysen, Anwendungsüberwachung in Echtzeit, Websitesuche und mehr durchzuführen. „[Amazon OpenSearch Service] ermöglicht datenforensische Aktivitäten und hilft, Anwendungsprobleme schneller zu finden und zu beheben“, sagt Li. Amazon Athena ermöglicht detailliertere interaktive, analytische Abfragen und AWS X-Ray bietet Tools für die Analyse von Trace-Daten. Darüber hinaus steuert das Open-Source-Datenvisualisierungstool Kibana, das in den Amazon OpenSearch Service integriert ist, Dashboards zur Überwachung von Daten in Echtzeit.

Probleme schneller als bisher finden und beheben

Die einheitliche Protokollierungslösung, die auf Amazon OpenSearch Service aufbaut, bietet einen besseren und schnelleren Einblick in die Datenprotokolle. "[Amazon OpenSearch Service] ermöglicht eine konsistentere Art und Weise der Erfassung und Messung von Protokolldaten in Echtzeit", sagt Li. "Dieser Dienst ermöglicht eine tiefgreifende Datenanalyse, die bessere Korrelationen zwischen Protokollierungsereignissen ermöglicht und so schneller Antworten auf Anwendungsprobleme liefert." Teams von Autodesk haben beispielsweise Dashboards erstellt, die Trends und Muster für Anomalien ermitteln. Damit können schnell Zusammenhänge zu detaillierten Protokolldatensätzen und für detaillierte Forensik erstellt werden.

Autodesk ermöglicht gezielt bessere forensische Analysen mithilfe von Instrumentierungsdaten zur Erkennung und Behebung von Fehlern und zur Verbesserung der durchschnittlichen Gesamtdauer für die Wiederherstellung. Das Unternehmen kann API-Nutzungsanomalien wie z. B. Fehlerraten- und Reaktionszeitspitzen identifizieren. Amazon-CloudWatch-Warnmeldungsereignisse verkürzen die durchschnittliche Dauer für die Erkennung und die Dauer für die Benachrichtigung der Reaktionsteams.

Das Unternehmen versucht auch, umfassendere Erkenntnisse aus seinen Analysedaten zu gewinnen, um den Software- und Kundenservice zu verbessern. "Letztlich verbessern wir unsere Softwareprodukte und bieten unseren Kunden aufgrund der Echtzeit-Transparenz, die wir mit Protokolldaten erreichen, einen besseren Service", sagt Li.

Durch die Zusammenarbeit mit AWS entwickelt Autodesk hochgradig skalierbare Protokollanalysefunktionen, durch die die Gesamtkosten der Lösung gesenkt werden.

Abbau von Datensilos

Durch die Auslagerung der Verwaltung der Architektur und der Elasticsearch-Cluster auf AWS konnte Autodesk die einheitliche Protokollierungslösung problemlos aufbauen. "Obwohl wir nur ein kleines IT-Team haben, können wir eine leistungsstarke Protokollierungslösung entwickeln und verwalten, da AWS sich um die Technologie kümmert", sagt Li. "Dadurch müssen wir keine Ressourcen mehr für die Verwaltung der zugrunde liegenden Infrastruktur aufwenden und können die Lösung nach Bedarf zur Unterstützung des wachsenden Volumens an Protokollierungsdaten skalieren."

Autodesk hat jetzt eine Lösung, die einen ganzheitlichen Einblick in Protokollierungsdaten, Anwendungsleistung sowie Ausfallzeiten bietet.

"Wir haben keine Datensilos mehr, weil unterschiedliche Teams Protokollierungslösungen verwenden", sagt Li. "Mit der AWS-Lösung können alle auf dieselbe Ansicht zugreifen. So kann jeder aktualisierte Erkenntnisse zum Gesamtstatus der Plattform gewinnen. Außerdem können wir mithilfe der Kibana-Dashboards ein allgemeines Vokabular erstellen, das wir alle für die Diagnose von Problemen verwenden. Insgesamt können wir als Unternehmen einen einheitlicheren Ansatz bei der Suche und Lösung von Problemen verfolgen."

Weitere Informationen

Weitere Informationen zu Big Data in AWS