L'agent Qwen3-32B de Fliggy négocie les prix des hôtels et relève de 12,14 points le taux de réponse lors d'un test en conditions réelles

Le problème

Les agences de voyages en ligne comme Fliggy négocient chaque jour des prix de chambres avec des hôtels. Un membre du personnel, appelé agent de développement commercial, appelle un responsable d'hôtel et demande un changement de prix en suivant un script fixe en plusieurs étapes. Le travail exige de la persuasion sur une longue conversation, mais aussi des limites strictes : pas de promesses excessives, pas de faits inventés et des chiffres cohérents entre plusieurs prix.

Ce qu’ils ont construit

Fliggy a transformé ce travail en agent LLM. Il part du modèle Qwen3-32B-Instruct à poids ouverts (à poids ouverts signifie que les fichiers du modèle sont publics). Fliggy l'a entraîné avec une méthode qu'elle appelle REPO, qui récompense le modèle à partir de trois signaux : un modèle entraîné sur des préférences humaines, un second modèle de langage faisant office de juge pour les qualités plus subtiles comme le ton et le respect du script, et de simples contrôles par règles pour les chiffres, le format et les garde-fous.

Comment ils s’y sont pris

L'équipe a constitué un jeu de données de préférences de 6 632 échantillons, dont 252 cas recueillis en production, et a comparé REPO à l'affinage et à d'autres méthodes d'apprentissage par renforcement. L'article indique que le modèle de base précédent, Qwen2.5-32B, commettait des erreurs en déploiement, et que des experts métier ont rassemblé 45 conversations de ce type comme test de cas problématiques. La méthode est conçue pour qu'une nouvelle règle ou une nouvelle consigne au juge puisse être ajoutée rapidement lorsqu'un nouvel échec apparaît après le lancement.

Résultats

Lors de l'évaluation par des experts, REPO a obtenu une note moyenne de dialogue de 4,63 sur 5 sur 30 conversations en ligne, soit 0,33 de plus que la meilleure méthode suivante, et a corrigé 93,33 % des 45 cas problématiques. Lors d'un test A/B en production sur 9 653 conversations réelles face à l'ancien système de dialogue fondé sur les intentions, le taux de réponse des hôtels est passé de 46,72 % à 58,86 % et la réussite de la tâche de 19,32 % à 25,26 %. Les deux gains étaient statistiquement significatifs (p < 0,001).

Ce qu’il faut retenir

Testez un agent face à votre référence en production, suivez un indicateur de réponse et un indicateur de résultat, et tenez à jour un ensemble croissant d'échecs réels pour retester chaque nouvelle version.