Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
Fliggy
El agente Qwen3-32B de Fliggy negocia precios de hoteles y eleva 12,14 puntos la tasa de respuesta en una prueba real
Fliggy, la agencia de viajes en línea de Alibaba, usa un modelo Qwen3-32B ajustado como agente de desarrollo de negocio que llama a hoteles para negociar cambios de precio. En una prueba A/B en producción con 9.653 conversaciones reales, superó al anterior sistema de diálogo basado en reglas en tasa de respuesta y éxito de la tarea.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
+12,14 puntos porcentuales (p < 0,001)
Proporción de llamadas en las que el hotel respondió tras la primera intervención del agente, prueba A/B en producción con 9.653 conversaciones reales frente al anterior sistema de diálogo basado en intenciones (46,72 % a 58,86 %)1
+5,94 puntos porcentuales (p < 0,001)
Proporción de tickets de cambio de precio negociados con éxito hasta alcanzar un acuerdo, misma prueba A/B en producción (19,32 % a 25,26 %)1
4,63
(+0,33 sobre GRPO)
Valoración media del diálogo (de 1 a 5) por tres expertos humanos en 30 conversaciones en línea, frente al mismo modelo entrenado con GRPO, un método alternativo1
93,33 %
Proporción de 45 casos problemáticos seleccionados que se corrigieron, según tres expertos humanos1
Qué requirió
Las fuentes no divulgan el coste, el tamaño del equipo ni los plazos.
El problema
Las agencias de viajes en línea como Fliggy negocian a diario los precios de las habitaciones con los hoteles. Un miembro del personal, llamado agente de desarrollo de negocio, llama a un responsable del hotel y pide un cambio de precio siguiendo un guion fijo de varios pasos. El trabajo exige persuasión durante una conversación larga, pero también límites estrictos: no prometer en exceso, no inventar hechos y mantener cifras coherentes entre varios precios.
Qué construyeron
Fliggy convirtió este trabajo en un agente LLM. Parte del modelo de pesos abiertos Qwen3-32B-Instruct (pesos abiertos significa que los archivos del modelo son públicos). Fliggy lo entrenó con un método que llama REPO, que recompensa al modelo con tres señales: un modelo entrenado con preferencias humanas, un segundo modelo de lenguaje que actúa como juez para cualidades más sutiles como el tono y el cumplimiento del guion, y simples comprobaciones por reglas para cifras, formato y barreras de seguridad.
Cómo lo hicieron
El equipo creó un conjunto de datos de preferencias de 6.632 muestras, incluidos 252 casos recogidos en producción, y comparó REPO con el ajuste fino y otros métodos de aprendizaje por refuerzo. El artículo dice que el modelo base anterior, Qwen2.5-32B, cometía errores en el despliegue, y que expertos de negocio reunieron 45 conversaciones como prueba de casos problemáticos. El método está diseñado para poder añadir rápidamente una nueva regla o instrucción al juez cuando aparece un nuevo fallo tras el lanzamiento.
Resultados
En la revisión de expertos, REPO alcanzó una valoración media del diálogo de 4,63 sobre 5 en 30 conversaciones en línea, 0,33 por encima del siguiente mejor método, y corrigió el 93,33 % de los 45 casos problemáticos. En una prueba A/B en producción con 9.653 conversaciones reales frente al anterior sistema de diálogo basado en intenciones, la tasa de respuesta de los hoteles subió del 46,72 % al 58,86 % y el éxito de la tarea del 19,32 % al 25,26 %. Ambas mejoras fueron estadísticamente significativas (p < 0,001).
Qué replicar
Pruebe un agente frente a su referencia en producción, siga una métrica de respuesta y otra de resultado, y mantenga un conjunto creciente de fallos reales para volver a probar cada nueva versión.
Lecciones para su proyecto
Compárese con el sistema que usa hoy. Fliggy probó frente a su sistema de diálogo de producción basado en intenciones, porque era el único otro sistema autorizado para tráfico real.
Escriba las reglas de negocio que el agente nunca debe romper, como no prometer en exceso ni inventar hechos, y compruébelas con verificaciones, no solo con revisión humana.
Recoja los fallos reales del modelo anterior y conviértalos en un conjunto de prueba. Fliggy creó un conjunto de 45 conversaciones problemáticas a partir de errores vistos en el despliegue.
Elija dos o tres métricas reales sencillas. Aquí: si el hotel respondió y si el ticket llegó a un acuerdo.
Salvedades
- Todas las cifras las comunican los autores del artículo, que trabajan en Fliggy (Alibaba). El artículo está revisado por pares en el ACL 2026 Industry Track, pero ningún tercero ha auditado los resultados.
- El artículo llama «clientes» a las personas que atienden las llamadas; son responsables de hotel, así que se trata de una negociación comercial con socios empresariales, no de atención al consumidor.
- El artículo no da fecha de despliegue, duración de la prueba ni proporción de tráfico. La fecha 2026-07 es el mes de publicación de las actas.
- Solo se cubre una tarea, los tickets de «seguimiento» de cambios de precio. El artículo dice que otras variantes entrenadas no cumplían los requisitos de estabilidad y cumplimiento para una prueba real, por lo que la comparación en producción es únicamente con el sistema anterior.
- Los autores dicen que una tasa de éxito de la tarea de alrededor del 25 % es comparable a la del personal humano de desarrollo de negocio. Es una afirmación propia y no se muestra ninguna referencia humana.
- La evaluación de expertos usó una muestra pequeña: tres expertos humanos, 30 conversaciones en línea y 45 casos problemáticos. No se indica coste, tamaño del equipo ni plazo.
Fuentes
- Teaching LLM to be Persuasive: Reward-Enhanced Policy Optimization for Alignment from Heterogeneous Rewards
ACL 2026 Industry Track (Fliggy/Alibaba authors) · 2026-07 · Artículo de investigación · aclanthology.org
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.