T-Tech automatisiert 45 % der Kundensupport-Sitzungen mit einem feinabgestimmten Qwen-Modell

Das Problem

Kundensupport in großem Maßstab läuft auf Unternehmens-Workflow-Software, in der Bearbeiter sich durch Bildschirme klicken, um jeden Fall zu lösen. Das mit handgeschriebenen Skripten zu automatisieren, ist langsam aufzubauen und bricht, sobald sich Bildschirme oder Prozesse ändern. Allzweck-KI-Agenten brauchen pro Fall viele Modellaufrufe, sodass sich kleine Fehler summieren und die Kosten hoch sind.

Was sie gebaut haben

T-Tech hat einen KI-Agenten gebaut, der innerhalb seiner Plattform für das Geschäftsprozessmanagement (BPM) arbeitet, der Software, mit der Bearbeiter Support-Chats abwickeln. Der Agent liest eine strukturierte Ansicht des Bildschirms und schlägt die nächste Aktion vor, etwa einen Klick auf ein Bedienelement, die Weiterleitung eines Chats oder das Senden einer Nachricht. Ein zweites Modell, Kritiker genannt, beurteilt, wie sicher sich der Agent ist. Nur Schritte mit hoher Sicherheit laufen selbstständig. Bei allem Unsicheren gibt der Agent den Fall an einen Bearbeiter zurück und macht auf dem aktualisierten Bildschirm weiter.

Das Modell ist Alibabas Qwen2.5-Instruct-7B mit offenen Gewichten, feinabgestimmt auf eigene Daten von T-Tech. Die Autoren wählten die Größe 7B, weil sie für ihr Serving-Budget die beste Balance aus Geschwindigkeit und Durchsatz bot.

Wie sie vorgegangen sind

Der Rollout hat drei Stufen. Zuerst protokolliert die Plattform nur, was Bearbeiter tun. Dann läuft das Modell als Copilot: Bearbeiter akzeptieren seinen Vorschlag oder korrigieren ihn, und dieses Feedback trainiert das Konfidenzmodell. Schließlich führt das System Schritte mit hoher Sicherheit im Hintergrund aus. Die Autoren sagen, ein neuer Prozess erreiche die selektive Automatisierung in etwa zwei Wochen ohne handgeschriebene Regeln.

Der Support-Verkehr wird in Anliegentypen aufgeteilt, jeder mit eigenen Modellen, sodass sich eine Drift in einem Bereich isolieren lässt. Lassen die Qualitätssignale für ein Segment nach, wird die Automatisierung dort abgeschaltet, und das System kehrt in den Copilot-Modus zurück, um neues Feedback zu sammeln. Trainingsdaten werden vor der Verwendung anonymisiert.

Ergebnisse

Die Autoren berichten, das System habe im Produktivbetrieb 45 % der Sitzungen vollständig automatisiert. In einem A/B-Test mit 15,5 Tsd. Kunden pro Gruppe über 7 Tage sank die durchschnittliche aktive Bearbeitungszeit pro Kunde gegenüber rein menschlicher Bearbeitung von 227,37 Sekunden auf 139,15 Sekunden (-39 %). Gegenüber dem bestehenden Chatbot mit festen Schritten (77 Tsd. Kunden pro Gruppe, 32 Tage) sank sie von 124,67 auf 104,72 Sekunden (-16 %). Eine verblindete Bewertung durch Bearbeiter ergab in beiden Tests keinen statistisch signifikanten Unterschied bei der Lösungsqualität.

Routineaktionen wie das Weiterleiten eines Chats akzeptierten die Bearbeiter in 91,7 % der Fälle, Freitextantworten aber nur in 50,81 % der Fälle. Die Autoren nennen die Nachrichtenformulierung in natürlicher Sprache als die wichtigste Grenze für weitere Automatisierung.

Was schiefgelaufen ist

Bearbeiter lehnten einen Teil der Vorschläge ab. Die Autoren analysierten diese Ablehnungen und stellten fest, dass 37,2 % vertretbare Aktionen waren, die in der Bearbeitung lediglich anders umgesetzt wurden, etwa mit einer abgemilderten Formulierung einer Nachricht. Fälle außerhalb der Trainingsdaten, etwa neue Bildschirmelemente oder ungewöhnliche Anliegen, sind eine bekannte Schwachstelle, weshalb sich das System bei Unsicherheit an Menschen wendet.

Was Sie übernehmen können

Lassen Sie das System zuerst als Copilot laufen und nutzen Sie die Akzeptieren- und Korrigieren-Klicks der Bearbeiter als Trainingsdaten. Automatisieren Sie risikoarme, wiederkehrende Schritte vor allem, was Kunden direkt betrifft. Verfolgen Sie die Bearbeitungszeit pro Kunde in einem kontrollierten Test, und bauen Sie einen Schalter ein, der eine Fallart zur menschlichen Bearbeitung zurückgibt, wenn die Qualität sinkt.