Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Fliggy
Fliggys Qwen3-32B-Agent verhandelt Hotelpreise und steigert die Antwortquote in einem Live-Test um 12,14 Punkte
Fliggy, das Online-Reisebüro von Alibaba, setzt ein feinabgestimmtes Qwen3-32B-Modell als Agenten für die Geschäftsentwicklung ein, der Hotels anruft, um Preisänderungen auszuhandeln. In einem A/B-Test im Produktivbetrieb mit 9.653 echten Gesprächen schlug er das frühere regelbasierte Dialogsystem bei Antwortquote und Aufgabenerfolg.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
+12,14 Prozentpunkte (p < 0,001)
Anteil der Anrufe, bei denen das Hotel nach der ersten Äußerung des Agenten antwortete, A/B-Test im Produktivbetrieb mit 9.653 echten Gesprächen im Vergleich zum früheren intentionsgesteuerten Dialogsystem (46,72 % auf 58,86 %)1
+5,94 Prozentpunkte (p < 0,001)
Anteil der Preisänderungs-Tickets, die erfolgreich bis zur Einigung verhandelt wurden, im selben A/B-Test im Produktivbetrieb (19,32 % auf 25,26 %)1
4,63
(+0,33 gegenüber GRPO)
Durchschnittliche Dialogbewertung (1 bis 5) durch drei menschliche Experten bei 30 Online-Gesprächen, im Vergleich zum selben Modell, trainiert mit GRPO, einer alternativen Methode1
93,33 %
Anteil der 45 ausgewählten Problemfälle, die behoben wurden, beurteilt von drei menschlichen Experten1
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Online-Reisebüros wie Fliggy verhandeln täglich Zimmerpreise mit Hotels. Ein Mitarbeitender, Agent für Geschäftsentwicklung genannt, ruft einen Hotelmanager an und bittet um eine Preisänderung, nach einem festen mehrstufigen Skript. Die Aufgabe verlangt Überzeugungskraft über ein langes Gespräch, aber auch strenge Grenzen: keine übertriebenen Versprechen, keine erfundenen Fakten und konsistente Zahlen über mehrere Preise hinweg.
Was sie gebaut haben
Fliggy machte aus dieser Aufgabe einen LLM-Agenten. Er geht vom Modell Qwen3-32B-Instruct mit offenen Gewichten aus (offene Gewichte bedeutet, dass die Modelldateien öffentlich sind). Fliggy trainierte es mit einer Methode namens REPO, die das Modell über drei Signale belohnt: ein auf menschlichen Präferenzen trainiertes Modell, ein zweites Sprachmodell als Richter für weichere Qualitäten wie Tonfall und Skripttreue sowie einfache Regelprüfungen für Zahlen, Format und Leitplanken.
Wie sie vorgegangen sind
Das Team baute einen Präferenzdatensatz mit 6.632 Stichproben auf, darunter 252 aus dem Produktivbetrieb gesammelte Fälle, und verglich REPO mit Feinabstimmung und anderen Reinforcement-Learning-Methoden. Laut Paper machte das vorherige Basismodell Qwen2.5-32B im Einsatz Fehler, und Fachexperten sammelten 45 solcher Gespräche als Problemfall-Test. Die Methode ist so angelegt, dass eine neue Regel oder Richter-Anweisung schnell ergänzt werden kann, wenn nach dem Start ein neuer Fehler auftaucht.
Ergebnisse
In der Expertenbewertung erreichte REPO bei 30 Online-Gesprächen eine durchschnittliche Dialogbewertung von 4,63 von 5, also 0,33 mehr als die nächstbeste Methode, und behob 93,33 % der 45 Problemfälle. In einem A/B-Test im Produktivbetrieb mit 9.653 echten Gesprächen gegen das frühere intentionsgesteuerte Dialogsystem stieg die Antwortquote der Hotels von 46,72 % auf 58,86 % und der Aufgabenerfolg von 19,32 % auf 25,26 %. Beide Zuwächse waren statistisch signifikant (p < 0,001).
Was Sie übernehmen können
Testen Sie einen Agenten gegen Ihre Live-Basislinie, verfolgen Sie eine Antwortkennzahl und eine Ergebniskennzahl und pflegen Sie eine wachsende Sammlung echter Fehler, mit der Sie jede neue Version erneut prüfen.
Erkenntnisse für Ihr Projekt
Vergleichen Sie mit dem System, das Sie heute betreiben. Fliggy testete gegen sein produktives intentionsgesteuertes Dialogsystem, weil es das einzige andere System war, das für Live-Verkehr freigegeben war.
Halten Sie die Geschäftsregeln fest, die der Agent nie brechen darf, etwa keine übertriebenen Versprechen und keine erfundenen Fakten, und prüfen Sie sie mit Kontrollen, nicht nur mit menschlicher Durchsicht.
Sammeln Sie echte Fehler des Vorgängermodells und machen Sie daraus einen Testsatz. Fliggy baute aus im Einsatz beobachteten Fehlern einen Problemfall-Satz mit 45 Gesprächen auf.
Wählen Sie zwei oder drei einfache Live-Kennzahlen. Hier: Hat das Hotel geantwortet, und hat das Ticket zu einer Einigung geführt?
Einschränkungen
- Alle Zahlen werden von den Autoren des Papers berichtet, die bei Fliggy (Alibaba) arbeiten. Das Paper wurde im ACL 2026 Industry Track begutachtet, doch kein Außenstehender hat die Ergebnisse geprüft.
- Das Paper nennt die Personen an den Anrufen „Kunden“; es handelt sich um Hotelmanager, also um eine Verhandlung auf Vertriebsseite mit Geschäftspartnern, nicht um Verbraucher-Support.
- Das Paper nennt weder ein Einführungsdatum noch die Testdauer oder den Verkehrsanteil. Das Datum 2026-07 ist der Veröffentlichungsmonat des Tagungsbands.
- Es wird nur eine Aufgabe behandelt, die „Nachfass“-Tickets zu Preisänderungen. Das Paper sagt, andere trainierte Varianten hätten die Anforderungen an Stabilität und Compliance für Live-Tests nicht erfüllt, daher ist der Live-Vergleich nur gegen das ältere System erfolgt.
- Die Autoren sagen, eine Aufgabenerfolgsquote von etwa 25 % sei mit der von menschlichen Mitarbeitenden in der Geschäftsentwicklung vergleichbar. Das ist ihre eigene Aussage, eine menschliche Vergleichsbasis wird nicht gezeigt.
- Die Expertenbewertung beruhte auf einer kleinen Stichprobe: drei menschliche Experten, 30 Online-Gespräche und 45 Problemfälle. Kosten, Teamgröße und Zeitplan werden nicht genannt.
Quellen
- Teaching LLM to be Persuasive: Reward-Enhanced Policy Optimization for Alignment from Heterogeneous Rewards
ACL 2026 Industry Track (Fliggy/Alibaba authors) · 2026-07 · Forschungsarbeit · aclanthology.org
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.