Autodesk verwendet AWS zur Entwicklung von Modellen für die Weiterleitung von Supportfällen zwischen Kunden- und Produkt-Support-Teams

Kunden des Softwareanbieters Autodesk haben Supportprobleme, die von der typischen, einfachen Aufgabe, Software zu finden und zu installieren, bis hin zu komplexen Fragen über die Art der fortgeschrittenen Modellierung innerhalb der Softwarepakete des Unternehmens reichen. Diese Anfragen haben oft erhebliche finanzielle Auswirkungen für die Kunden, so dass der Bedarf an Unterstützung entscheidend ist.

Wenn sich Kunden jedoch wegen eines Problems an Autodesk wenden möchten, denken sie nicht an die verschiedenen Abteilungen oder die verschiedenen Support-Abteilungen, die sich mit einer Vielzahl von Fragen befassen – ihnen geht es schlichtweg darum, dass sie Hilfe benötigen, um ein Problem schnell und effektiv zu lösen. Oft sind sich Kunden nicht sicher, wie sie ihr Problem beschreiben sollen. In der Vergangenheit führte dies dazu, dass Kunden an das falsche Support-Team weitergeleitet wurden, was zu Frustration und längeren Lösungszeiten führte. Die spezialisierte Hilfe der Produktunterstützungsgruppe erfordert ein großes Engagement, während viele andere Probleme in wenigen Minuten gelöst werden können. Ein Kunde mit einer einfachen Anfrage, z. B. zum Auffinden eines Download-Links, kann stundenlang festsitzen, weil er sich versehentlich in eine hochspezialisierte, technische Warteschlange eingereiht hat, anstatt Hilfe vom Kundensupport-Team zu erhalten.

Um dieses Problem zu lösen, erstellte Autodesk Machine-Learning (ML)-Fähigkeitsmodelle mit Amazon SageMaker, einem vollständig verwalteten Service, der Entwicklern und Datenwissenschaftlern die Möglichkeit bietet, ML-Modelle schnell zu erstellen, zu trainieren und bereitzustellen. Die Kompetenzmodelle unterscheiden sich von typischen Klassifizierungsmodellen, da sie versuchen, das richtige Team auszuwählen, das für die Unterstützung des Benutzers zuständig ist. Dies steht im Gegensatz zu vielen Modellen, die versuchen, das Thema eines Falles vorherzusagen und dann von diesem Thema auszugehen.

Um das Modell zu trainieren, zog Autodesk historische Datensätze aus seinem Data Lake in Amazon Simple Storage Service (Amazon S3), einen Objektspeicherdienst, der branchenführende Skalierbarkeit, Datenverfügbarkeit, Sicherheit und Leistung bietet. Dieses Modell hat zu einer besseren Kundenerfahrung und einer einfacheren Support-Erfahrung mit reduzierten Geschäftskosten und erhöhter Produktivität der Autodesk Support-Mitarbeiter geführt.

Autodesk entwickelt Softwarelösungen für die Architektur, das Ingenieurwesen, das Bauwesen, die Medien- und Unterhaltungsbranche sowie die Fertigungsindustrie und nutzt dabei neue Technologien wie 3D-Druck, künstliche Intelligenz, generatives Design und Robotik. 2017 verlagerte Autodesk seine Datenwissenschaftsentwicklungspraxis von lokalen Rechnern zu Amazon Web Services (AWS) als ersten Schritt einer umfassenderen Strategie zur Nutzung von AWS für seinen Produktentwicklungsprozess. Als das Unternehmen also ein Problem mit seinem Kundensupportsystem hatte, wandte es sich sofort an AWS.

Das frühere regelbasierte Routing-System von Autodesk für den Kundensupport führte zu Zeitverschwendung bei der Umleitung von Supportanfragen, die ausschließlich von den Eingaben des Kunden abhängig waren. Die Kunden hatten Schwierigkeiten, sich im Supportsystem zurechtzufinden, weil es schwierig war, ihre Fragen zu klassifizieren, und eine falsch weitergeleitete Anfrage konnte die Antwortzeit von Minuten auf Stunden oder länger erhöhen. „Kunden sollten nicht verstehen müssen, was der Unterschied zwischen einem technischen Problem und einem Download-Problem bedeutet, und wie sich das darauf auswirkt, wohin sie weitergeleitet werden“, so Alex O'Connor, leitender Datenwissenschaftler bei Autodesk. Doch wenn sich ein Kunde im System verirrte, mussten die Support-Teams untereinander Informationen austauschen, um herauszufinden, wohin sie die eingehenden Anfragen intern weiterleiten sollten.

Autodesk war auf der Suche nach flexiblen, anpassbaren ML-Modellen, die die Verarbeitung natürlicher Sprache nutzen und sowohl Wörter als auch deren Zusammenhänge untersuchen, um die Weiterleitung seiner Kunden zu den richtigen Lösungen genauer zu automatisieren. „Bei dieser Art von Problemen, bei denen die Kunden ihr Problem in ihren eigenen Worten beschreiben, sind verschiedene Kombinationen von Modellen und Daten sinnvoll, um die enormen Unterschiede in den Details und in der Sprache zu berücksichtigen“, erklärt O'Connor, „und die Möglichkeit, all diese Kombinationen auszuprobieren, war ein Teil des Vorteils von AWS.“

Um die Modelle für ML-Fähigkeiten zu erstellen, trafen sich die Geschäftsanalysten des Datenwissenschafts-Teams von Autodesk mit jedem der Support-Teams, um deren Spezialgebiete zu verstehen und zu erfassen, wer was und wie macht. Auf der Grundlage dieses Wissens kuratierte das Team die Trainingsdatensätze für die Erstellung des Kompetenzmodells. Das Datenwissenschafts-Team zog historische Daten von Tausenden von Kundendienstanfragen und deren Lösungen aus seinem Data Lake in Amazon S3. Dann verwendete Autodesk Amazon-SageMaker-Notebooks, um zu ermitteln, welches Modell verwendet werden sollte und wie viele Daten benötigt wurden. „Die Amazon-SageMaker-Notebooks sind attraktiv, weil man die Daten erforschen, die Dynamik verschiedener Features in den Daten verstehen und sogar Testmodelle trainieren kann, die helfen, das mögliche Verhalten eines ML-Modells zu verstehen, das auf verschiedene Teile der Daten trainiert wurde“, erklärt O'Connor. Sobald das Team versuchsweise die richtige Paarung von Modell und Daten für ein Support-Team gefunden hatte, konnte es zum nächsten Schritt übergehen: die Verwendung von Modellen mit immer mehr Features, die auf größeren Datensätzen mit zusätzlichen Kontrollen trainiert werden. Diese umfangreicheren Modelle lassen sich oft besser verallgemeinern und sind robuster in Bezug auf Variationen des Kundeninputs.

Nach der Verwendung von Amazon-SageMaker-Notebooks zur Durchführung der Analyse und der ersten Erkundung erstellte Autodesk mit Scikit-learn, einer klassischen ML-Bibliothek der Wahl für die meisten Python-Projekte, explorative Modelle. Anschließend trainierte Autodesk seine Skill-Modelle in mehreren Deep-Learning-Frameworks im Skriptmodus, was die schnelle Wiederverwendung von Code und die Iteration von Modellen erleichtert. Das Unternehmen verwendet auch PyTorch, um fast.ai und Hugging Face Transformers für die Verarbeitung natürlicher Sprache auszuführen.

Um die Modelle zu Testzwecken bereitzustellen, verwendete Autodesk Amazon Elastic Container Service (Amazon ECS) für die ersten API-Hosting-Versionen. „In den Folgeversionen und in der Produktion sind wir dann auf Amazon-SageMaker-Endpunkt-Hosting umgestiegen, da wir dadurch eine höhere Flexibilität und eine geringere Komplexität erreicht haben“, sagt Yathaarth Bhansali, Principal Engineer für das Datenwissenschafts-Team bei Autodesk. Die Entwicklung und Bereitstellung der ersten Kompetenzmodelle, ein Prozess, der die Skalierung und Automatisierung des gesamten Skripts umfasste, dauerte etwa 2–3 Wochen.

Die Modelle, die Autodesk mithilfe von AWS-Services erstellte, haben die Komplexität des Kundenerlebnisses verringert und zu einer mehr als 30-prozentigen Verringerung der falschen Weiterleitung in wichtigen Supportkanälen geführt, wodurch Autodesk-Kunden ihre Antworten bis zu dreimal schneller erhalten haben. „Jede Verkürzung der Zeit, die der Kunde mit dem Warten auf eine Lösung verbringt, kann für ihn und seinen Arbeitgeber enorme geschäftliche Auswirkungen haben, da die auftretenden Probleme oft den Fortschritt bei geschäftskritischen Projekten blockieren können“, so O'Connor. Darüber hinaus hat das durchweg positive Kundenfeedback gezeigt, dass die automatische Weiterleitung den Kunden korrekt an einen Supportmitarbeiter weiterleitet.

„Die Abkehr von unserem alten regelbasierten System war schwierig, aber sehr lohnend“, erklärt James Bradley, Director of Data Science bei Autodesk. „Es führte zu einer enormen Vereinfachung der Art und Weise, wie wir Supportfälle weiterleiten, und beseitigte einige technische Altlasten, die durch die Verwendung unseres früheren Systems entstanden waren.“ Autodesk war in der Lage, seine Entwicklungspraktiken zu verbessern, da AWS seine Dienste aktualisiert. Das Unternehmen plant zum Beispiel A/B-Tests verschiedener Modelle und Amazon-SageMaker-Endpunkte machen dies einfach. „Jedes Mal, wenn wir auf etwas stoßen, das wir gerne tun würden, stellen wir fest, dass AWS diesen Bedarf bereits vorausgesehen hat“, so O'Connor.

Durch die Verwendung von Amazon SageMaker und Amazon ECS können sich die Datenwissenschafts-Teams von Autodesk auf die Verbesserung ihrer Algorithmen konzentrieren, anstatt die Infrastruktur zu warten. „Ich bin sehr dankbar, dass ich meine Server nicht mehr selbst verwalten oder Treiber aktualisieren muss“, sagt Bradley. „In der Vergangenheit habe ich viel Zeit damit verschwendet, mich mit Dingen zu befassen, die unterhalb der Ebene des Problems angesiedelt waren, das ich zu lösen versuchte. Wir halten uns für einigermaßen kompetent. Wenn wir also auf Probleme stoßen, möchten wir uns nicht mit Grundlagen befassen.“

Das Autodesk-Team wird das Routing-System weiter verbessern, u. a. durch die Möglichkeit, Warteschlangen zu überwachen und Autodesk-Mitarbeiter auf Kunden aufmerksam zu machen, die sich möglicherweise in der falschen Warteschlange befinden, sowie durch die Nutzung von Daten zur Vorhersage von Kundenbedürfnissen, was die Antwortzeit verkürzen und die First-Touch-Lösung verbessern wird. „Wenn der Kunde etwas tut, können wir aus diesem Verhalten Informationen ableiten und dann eine Empfehlung aussprechen“, so Bradley. Das Unternehmen hat Initiativen ergriffen, um sein Routing-System auf weitere Sprachen auszuweiten, und erforscht zusätzliche Umgebungen und Modalitäten, in denen Kunden mit dem Support in Kontakt treten können.

In AWS hat Autodesk das Rätselraten für Kunden bei der Navigation durch das Supportsystem abgeschafft. „Die Kompetenzmodelle und die Supportumgebung sollten den Bedürfnissen der Nutzer entsprechen und die beste Wahl für sie sein, anstatt sie in den einen oder anderen Kanal zu drängen, nur weil dies der einzige Ort ist, an den sie sich wenden können“, so O'Connor. Jetzt erfüllt das Kundensupportsystem von Autodesk genau das, wofür es gedacht ist: Kunden die Ressourcen und das Wissen zur Verfügung zu stellen, die sie benötigen, um Probleme effizient zu lösen.