Un equipo de Tencent reduce un 92,7 % los enlaces inventados en las respuestas de soporte publicitario con un Qwen3-32B de pesos abiertos ajustado

El problema

Los autores de Tencent describen una plataforma publicitaria a gran escala con muchas reglas, productos y procedimientos de cuenta que cambian con frecuencia. Los anunciantes hacen preguntas de soporte sobre ellos. Una respuesta errónea sale cara, y el artículo señala los enlaces web inventados como un riesgo porque pueden provocar pérdidas económicas, problemas de cumplimiento y exposición legal. Los asistentes estándar basados en recuperación, que buscan documentos y luego redactan una respuesta, seguían produciendo respuestas incompletas o inventadas.

Qué construyeron

El equipo de Tencent combinó dos ideas. Primero, un paso de recuperación que sigue las relaciones entre productos, reglas y procedimientos (llamado GraphRAG, una búsqueda sobre un mapa de hechos enlazados) junto con la búsqueda ordinaria por palabras clave y por vectores. Segundo, un modelo Qwen3-32B que Tencent ajustó con aprendizaje por refuerzo, en el que el modelo recibe una recompensa por ceñirse a la evidencia recuperada, seguir el estilo de la casa, mantenerse seguro y usar solo URL válidas. Qwen3-32B es un modelo de pesos abiertos, es decir, sus archivos son públicos y pueden ejecutarse en los propios servidores de una empresa. Se accede al servicio desde la barra lateral de un sitio web oficial, un miniprograma y un sitio independiente.

Cómo lo hicieron

Tencent mantuvo pequeño el grafo de conocimiento a propósito. Siguió qué contenidos recuperaban con más frecuencia las consultas reales y construyó el grafo con ese subconjunto más citado, de modo que las búsquedas siguieran siendo rápidas. La instantánea principal de pruebas del artículo tenía 4.686 entidades y 10.712 relaciones. El modelo se ajustó primero con 1.000 diálogos anotados por personas y después se entrenó con aprendizaje por refuerzo con 1.000 instrucciones. Un modelo Qwen3-4B más pequeño reordena los resultados de búsqueda. El generador se sirve con vLLM en dos GPU NVIDIA H20, y el índice de conocimiento funciona sobre Elasticsearch. Un paso de verificación posterior añade 230 ms por las barreras de seguridad.

Resultados

En un conjunto de prueba interno de 3.000 preguntas, el modelo ajustado tuvo una tasa de alucinación un 72 % menor que el mismo modelo ajustado sin aprendizaje por refuerzo, y mejoras en precisión, exhaustividad y seguridad valoradas por expertos. En una prueba real de dos semanas con el 50 % del tráfico frente a una configuración de recuperación estándar con DeepSeek-V3, la tasa de «me gusta» subió un 28,6 % y las URL no válidas bajaron un 92,7 %. Las dos tablas de resultados del artículo no coinciden en la tasa de «no me gusta», por lo que no se cita aquí (véanse las salvedades). El precio fueron respuestas más lentas: el tiempo medio hasta el primer token pasó de 2,5 s a 3,1 s. Los autores dicen que el sistema había atendido millones de interacciones durante más de medio año.

Qué replicar

Defina el error que no puede permitirse, como un enlace inventado, y désele su propia métrica y su propia recompensa en el entrenamiento. Haga una prueba dividida en condiciones reales frente a una referencia clara y publique la ralentización junto a las mejoras.