Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Fliggy
Fliggy's Qwen3-32B-agent onderhandelt over hotelprijzen en verhoogt de responsratio in een livetest met 12,14 punten
Fliggy, het online reisbureau van Alibaba, gebruikt een afgestemd Qwen3-32B-model als agent voor business development die hotels belt om prijswijzigingen te bespreken. In een A/B-test in productie met 9.653 echte gesprekken versloeg het het eerdere regelgestuurde dialoogsysteem op responsratio en taaksucces.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
+12,14 procentpunt (p < 0,001)
Aandeel van de gesprekken waarin het hotel reageerde na de eerste uiting van de agent, A/B-test in productie met 9.653 echte gesprekken ten opzichte van het eerdere intentiegestuurde dialoogsysteem (46,72% naar 58,86%)1
+5,94 procentpunt (p < 0,001)
Aandeel van de prijswijzigingstickets dat succesvol tot overeenstemming werd onderhandeld, in dezelfde A/B-test in productie (19,32% naar 25,26%)1
4,63
(+0,33 boven GRPO)
Gemiddelde dialoogbeoordeling (1 tot 5) door drie menselijke experts op 30 onlinegesprekken, ten opzichte van hetzelfde model getraind met GRPO, een alternatieve methode1
93,33%
Aandeel van de 45 geselecteerde probleemgevallen dat werd opgelost, beoordeeld door drie menselijke experts1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
Online reisbureaus zoals Fliggy onderhandelen dagelijks met hotels over kamerprijzen. Een medewerker, een agent voor business development genoemd, belt een hotelmanager en vraagt om een prijswijziging, volgens een vast script met meerdere stappen. De taak vraagt overtuigingskracht in een lang gesprek, maar ook strikte grenzen: niet te veel beloven, geen verzonnen feiten en consistente getallen over meerdere prijzen.
Wat ze bouwden
Fliggy maakte van deze taak een LLM-agent. Die begint bij het model Qwen3-32B-Instruct met open gewichten (open gewichten betekent dat de modelbestanden openbaar zijn). Fliggy trainde het met een methode die het REPO noemt en die het model beloont met drie signalen: een model getraind op menselijke voorkeuren, een tweede taalmodel dat als rechter optreedt voor zachtere kwaliteiten zoals toon en scripttrouw, en eenvoudige regelcontroles voor getallen, opmaak en vangrails.
Hoe ze het aanpakten
Het team bouwde een voorkeursdataset van 6.632 voorbeelden, waaronder 252 gevallen uit de productie, en vergeleek REPO met finetuning en andere reinforcement-learningmethoden. Het artikel zegt dat het vorige basismodel, Qwen2.5-32B, fouten maakte bij de uitrol, en dat bedrijfsexperts 45 van zulke gesprekken verzamelden als test met probleemgevallen. De methode is zo ontworpen dat er snel een nieuwe regel of rechterinstructie kan worden toegevoegd als er na de lancering een nieuwe fout opduikt.
Resultaten
In de expertbeoordeling behaalde REPO een gemiddelde dialoogbeoordeling van 4,63 van 5 op 30 onlinegesprekken, 0,33 boven de op een na beste methode, en loste het 93,33% van de 45 probleemgevallen op. In een A/B-test in productie met 9.653 echte gesprekken tegen het eerdere intentiegestuurde dialoogsysteem steeg de responsratio van hotels van 46,72% naar 58,86% en het taaksucces van 19,32% naar 25,26%. Beide winsten waren statistisch significant (p < 0,001).
Wat u kunt overnemen
Test een agent tegen uw live basislijn, volg een responsmetric en een uitkomstmetric, en houd een groeiende set echte fouten bij om elke nieuwe versie opnieuw te testen.
Lessen voor uw project
Vergelijk met het systeem dat u nu gebruikt. Fliggy testte tegen zijn productiesysteem voor intentiegestuurde dialogen, omdat dat het enige andere systeem was dat voor live verkeer was goedgekeurd.
Leg de bedrijfsregels vast die de agent nooit mag overtreden, zoals niet te veel beloven en geen feiten verzinnen, en test ze met controles, niet alleen met menselijke beoordeling.
Verzamel echte fouten van het vorige model en maak er een testset van. Fliggy bouwde een set van 45 probleemgesprekken uit fouten die tijdens de uitrol waren gezien.
Kies twee of drie eenvoudige livemetrics. Hier: heeft het hotel gereageerd, en is het ticket tot overeenstemming gekomen.
Kanttekeningen
- Alle cijfers worden gemeld door de auteurs van het artikel, die bij Fliggy (Alibaba) werken. Het artikel is peer-reviewed bij de ACL 2026 Industry Track, maar geen externe partij heeft de resultaten gecontroleerd.
- Het artikel noemt de mensen aan de telefoon 'klanten'; het zijn hotelmanagers, dus dit is een onderhandeling aan de verkoopkant met zakelijke partners, geen consumentensupport.
- Het artikel geeft geen datum van ingebruikname, testduur of aandeel van het verkeer. De datum 2026-07 is de publicatiemaand van de congresbundel.
- Er wordt maar één taak behandeld, de 'chase'-tickets voor prijswijzigingen. Het artikel zegt dat andere getrainde varianten niet voldeden aan de eisen voor stabiliteit en compliance voor een livetest, dus de livevergelijking is alleen met het oudere systeem.
- De auteurs zeggen dat een taaksucces van ongeveer 25% vergelijkbaar is met dat van menselijke medewerkers in business development. Dit is hun eigen uitspraak en er wordt geen menselijke referentie getoond.
- De expertbeoordeling gebruikte een kleine steekproef: drie menselijke experts, 30 onlinegesprekken en 45 probleemgevallen. Kosten, teamgrootte en tijdlijn worden niet genoemd.
Bronnen
- Teaching LLM to be Persuasive: Reward-Enhanced Policy Optimization for Alignment from Heterogeneous Rewards
ACL 2026 Industry Track (Fliggy/Alibaba authors) · 2026-07 · Onderzoeksrapport · aclanthology.org
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.