Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Fliggy
L'agente Qwen3-32B di Fliggy negozia i prezzi degli hotel e alza di 12,14 punti il tasso di risposta in un test dal vivo
Fliggy, l'agenzia di viaggi online di Alibaba, usa un modello Qwen3-32B ottimizzato come agente di sviluppo commerciale che telefona agli hotel per negoziare variazioni di prezzo. In un test A/B in produzione su 9.653 conversazioni reali ha superato il precedente sistema di dialogo basato su regole per tasso di risposta e successo del compito.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
+12,14 punti percentuali (p < 0,001)
Quota di chiamate in cui l'hotel ha risposto dopo il primo intervento dell'agente, test A/B in produzione su 9.653 conversazioni reali rispetto al precedente sistema di dialogo guidato dalle intenzioni (46,72% a 58,86%)1
+5,94 punti percentuali (p < 0,001)
Quota di ticket di variazione prezzo negoziati con successo fino all'accordo, stesso test A/B in produzione (19,32% a 25,26%)1
4,63
(+0,33 rispetto a GRPO)
Valutazione media del dialogo (da 1 a 5) di tre esperti umani su 30 conversazioni online, rispetto allo stesso modello addestrato con GRPO, un metodo alternativo1
93,33%
Quota di 45 casi problematici selezionati che sono stati risolti, secondo tre esperti umani1
Cosa è servito
Le fonti non rendono noti costi, dimensioni del team e tempi.
Il problema
Le agenzie di viaggi online come Fliggy negoziano ogni giorno i prezzi delle camere con gli hotel. Un addetto, chiamato agente di sviluppo commerciale, telefona a un responsabile d'hotel e chiede una variazione di prezzo seguendo un copione fisso in più fasi. Il lavoro richiede persuasione in una lunga conversazione, ma anche limiti rigidi: nessuna promessa eccessiva, nessun fatto inventato e numeri coerenti tra più prezzi.
Cosa hanno costruito
Fliggy ha trasformato questo lavoro in un agente LLM. Parte dal modello a pesi aperti Qwen3-32B-Instruct (a pesi aperti significa che i file del modello sono pubblici). Fliggy lo ha addestrato con un metodo che chiama REPO, che premia il modello con tre segnali: un modello addestrato sulle preferenze umane, un secondo modello linguistico che fa da giudice per qualità più sfumate come tono e rispetto del copione, e semplici controlli a regole per numeri, formato e barriere di sicurezza.
Come ci sono riusciti
Il team ha costruito un dataset di preferenze di 6.632 campioni, inclusi 252 casi raccolti dalla produzione, e ha confrontato REPO con il fine-tuning e altri metodi di apprendimento per rinforzo. L'articolo dice che il precedente modello di base, Qwen2.5-32B, commetteva errori in produzione, e che esperti di business hanno raccolto 45 conversazioni di questo tipo come test di casi problematici. Il metodo è pensato in modo che, quando emerge un nuovo fallimento dopo il lancio, si possa aggiungere rapidamente una nuova regola o un'istruzione al giudice.
Risultati
Nella revisione degli esperti, REPO ha ottenuto una valutazione media del dialogo di 4,63 su 5 su 30 conversazioni online, 0,33 sopra il metodo successivo, e ha risolto il 93,33% dei 45 casi problematici. In un test A/B in produzione su 9.653 conversazioni reali rispetto al precedente sistema di dialogo guidato dalle intenzioni, il tasso di risposta degli hotel è salito dal 46,72% al 58,86% e il successo del compito dal 19,32% al 25,26%. Entrambi i miglioramenti erano statisticamente significativi (p < 0,001).
Cosa replicare
Testare un agente rispetto alla propria base di riferimento in produzione, monitorare una metrica di risposta e una di esito, e mantenere un insieme crescente di fallimenti reali per ritestare ogni nuova versione.
Lezioni per il vostro progetto
Confrontarsi con il sistema che si usa oggi. Fliggy ha testato contro il proprio sistema di dialogo di produzione guidato dalle intenzioni, perché era l'unico altro sistema autorizzato per il traffico reale.
Scrivere le regole di business che l'agente non deve mai violare, come non promettere troppo e non inventare fatti, e verificarle con controlli, non solo con la revisione umana.
Raccogliere i fallimenti reali del modello precedente e trasformarli in un insieme di test. Fliggy ha costruito un insieme di 45 conversazioni problematiche dagli errori osservati in produzione.
Scegliere due o tre metriche semplici dal vivo. Qui: l'hotel ha risposto e il ticket è arrivato a un accordo.
Avvertenze
- Tutti i dati sono riportati dagli autori dell'articolo, che lavorano per Fliggy (Alibaba). L'articolo è sottoposto a revisione paritaria all'ACL 2026 Industry Track, ma nessun soggetto esterno ha verificato i risultati.
- L'articolo chiama «clienti» le persone al telefono; sono direttori d'hotel, quindi si tratta di una negoziazione commerciale con partner aziendali, non di assistenza ai consumatori.
- L'articolo non indica data di rilascio, durata del test né quota di traffico. La data 2026-07 è il mese di pubblicazione degli atti.
- È coperto un solo compito, i ticket di «sollecito» per variazioni di prezzo. L'articolo dice che altre varianti addestrate non soddisfacevano i requisiti di stabilità e conformità per il test dal vivo, quindi il confronto dal vivo è solo con il sistema precedente.
- Gli autori dicono che un tasso di successo del compito di circa il 25% è paragonabile a quello del personale umano di sviluppo commerciale. È una loro affermazione e non viene mostrato alcun riferimento umano.
- La valutazione degli esperti ha usato un campione ridotto: tre esperti umani, 30 conversazioni online e 45 casi problematici. Non vengono indicati costi, dimensione del team né tempi.
Fonti
- Teaching LLM to be Persuasive: Reward-Enhanced Policy Optimization for Alignment from Heterogeneous Rewards
ACL 2026 Industry Track (Fliggy/Alibaba authors) · 2026-07 · Articolo di ricerca · aclanthology.org
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.