Zomato stellt seinen Support-Chatbot Zia auf Llama 3 um und meldet eine um den Faktor 2 gestiegene Kundenzufriedenheit

Das Problem

Zomato liefert in Indien über eine Million Essensbestellungen pro Tag aus. Der frühere Support bestand aus einem Menü mit festen Optionen und vorgefertigten Antworten. Er kam mit ungewöhnlichen Situationen schlecht zurecht, und einfache Fragen wie „Wo ist meine Bestellung?“ landeten oft unnötig bei einem Menschen im Support.

Was sie gebaut haben

Zia ist ein dialogfähiger Support-Bot. Kunden schildern ihr Problem in eigenen Worten. Der Bot kann auch handeln: Er kann Lieferhinweise ergänzen oder eine Bestellung stornieren. Zomato erfasste Chat-Bewertungen (CSAT), den Anteil der Chats, die ohne Mensch gelöst wurden, die Kosten und die Antwortzeit, mit dem Ziel von unter 10 Sekunden.

Die erste Version lief auf geschlossenen Modellen, darunter GPT-4, was Bedenken bei Kosten und Geschwindigkeit weckte. Nachdem Meta Llama 3 veröffentlicht hatte, ein Open-Weight-Modell, dessen Dateien öffentlich sind, sodass Unternehmen es betreiben oder anpassen können, wechselte Zomato auf Llama 3 auf der Plattform von Together AI.

Wie sie vorgegangen sind

Der Bot arbeitet in Schritten. Er klassifiziert zuerst, welche Daten er braucht, ruft nur die relevanten internen Systeme auf, formuliert die Daten in verständlicher Sprache und kombiniert sie im endgültigen Prompt mit dem Chatverlauf und den Geschäftsrichtlinien. Parallel erkennt ein separater Schritt mögliche Aktionen und prüft sie anhand von Bestellstatus und Kundenhistorie. Der Kunde sieht ein Bestätigungsfenster, bevor etwas ausgeführt wird.

Darüber liegt eine Regelschicht. Das Modell muss jede Eskalation an einen Menschen mit einem vordefinierten Grund versehen, und dieser Grund wird mit den Bestelldaten abgeglichen. Zomato hat sie ergänzt, nachdem Entscheidungen, die allein das Modell traf, die Quote der ohne Mensch gelösten Chats zwischen 80 % und 50 % schwanken ließen.

Größere 70B-Modelle übernehmen die Absichtserkennung und kritische Aufgaben. Kleinere 8B-Modelle formulieren die Chat-Antworten. Geteilte Serverless-Kapazität deckt das normale Aufkommen ab, und dedizierte Kapazität fängt Spitzen zu den Essenszeiten mit dem 10- bis 50-Fachen ab.

Jede Systemänderung wird von Menschen geprüft. Ein Teil der Live-Antworten wird für eine menschliche Bewertung als Stichprobe gezogen, zusätzlich kommt ein KI-Richter zum Einsatz, mit vier Maßen: faktische Konsistenz, Relevanz, Einhaltung der Richtlinien und ob das Anliegen des Kunden gelöst wurde.

Ergebnisse

Together AI meldet eine Verbesserung der CSAT-Werte um den Faktor 2 und durchschnittliche Antwortzeiten, die um 75 % auf unter 10 Sekunden sanken. Das Unternehmen gibt außerdem an, das System habe in Spitzenzeiten über 1.000 Nachrichten pro Minute und an einem einzigen Muttertag mehr als 80.000 Kunden bewältigt, und mehr Anfragen würden jetzt zu geringeren Kosten vollständig von der KI gelöst. Eine Zahl zur Kosteneinsparung nennt es nicht.

Was Sie übernehmen können

Setzen Sie dem Modell bei Entscheidungen mit echten Folgen, etwa Eskalationen und Erstattungen, harte Regeln und lassen Sie den Kunden bestätigen, bevor es handelt. Testen Sie offene Modelle vor einem Wechsel mit Ihren eigenen Chats gegen Ihre aktuellen Modelle.