Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
Booking.com
Booking.com prueba modelos de lenguaje propios más rápidos en Trip Planner, Smart Filters y descripciones de alojamientos
Booking.com afirma que usa modelos de lenguaje propios, ajustados y destilados, en su AI Trip Planner y sus Smart Filters, y que probó descripciones de alojamientos generadas. En pruebas reales de varias semanas, el modelo de Trip Planner logró un 2,9 % más de clics en las tarjetas de recomendación que OpenAI GPT-3.5, y las descripciones generadas obtuvieron un 1,4 % más de votos de «útil» que las plantillas.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
+2,9 %
Variación de los clics en las tarjetas de recomendación de AI Trip Planner, prueba A/B del modelo destilado propio frente a OpenAI GPT-3.5 con tráfico real durante varias semanas1
+1,4 %
Variación de los votos de «útil» en las descripciones de alojamientos generadas frente a las descripciones basadas en plantillas, prueba A/B con tráfico real durante varias semanas1
15
veces más rápido
Velocidad de las respuestas de Smart Filters en el percentil 99 tras desplegar el modelo destilado con cabezales de aceleración Medusa (el artículo no da una referencia)1
10
a 20 veces
Reducción del tiempo de respuesta con un modelo destilado pequeño más cabezales de aceleración, en los experimentos fuera de línea del artículo con un modelo de 1,1 mil millones de parámetros (no es tráfico real)1
Qué requirió
El problema
Booking.com quiere funciones de IA que respondan en tiempo real. Los grandes modelos de lenguaje escriben bien, pero son lentos y caros de ejecutar. Los autores citan investigaciones según las cuales incluso 100 a 400 milisegundos de retraso adicional pueden reducir la interacción de los usuarios. La empresa también necesita descripciones para 3 millones de alojamientos, mantenidas al día a medida que cambian los establecimientos. Las descripciones basadas en plantillas son repetitivas y difíciles de mantener.
Qué construyeron
El artículo abarca tres funciones de Booking.com.
AI Trip Planner es un asistente de chat que sugiere hoteles y destinos. Un modelo ajustado extrae de la conversación datos estructurados del viaje, como fechas y preferencias, y los pasa a los sistemas de recomendación de Booking.com. Smart Filters permite al usuario escribir una búsqueda en texto libre y la convierte en los filtros habituales. Las descripciones de alojamientos generadas usan IA para redactar descripciones de propiedades a partir de los atributos que proporcionan los socios, en lugar de plantillas fijas.
Para las funciones en producción, el artículo describe un modelo de lenguaje propio, ajustado y destilado, con una técnica de aceleración llamada Medusa. Destilación significa que un modelo pequeño aprende de las salidas de uno mayor. Medusa permite que un modelo prediga varias palabras a la vez.
Cómo lo hicieron
En los experimentos fuera de línea, un modelo Llama 3.1 ajustado de 70 mil millones de parámetros etiquetó 17.000 ejemplos adicionales tomados de las consultas de producción de Booking.com. Se combinaron con 9.000 ejemplos etiquetados por personas para entrenar a un alumno TinyLlama de 1,1 mil millones de parámetros. Para las descripciones, GPT-4 redactó ejemplos de entrenamiento de 10.000 alojamientos y expertos en contenido editaron 273 de ellos.
Los modelos se ejecutan en Amazon SageMaker con escalado automático. Trip Planner y Smart Filters funcionan en tiempo real. Las descripciones se ejecutan por lotes cuando cambian los datos de la propiedad.
Resultados
En pruebas A/B con tráfico real durante varias semanas, el modelo de Trip Planner generó un 2,9 % más de clics en las tarjetas de recomendación que OpenAI GPT-3.5, y las descripciones generadas obtuvieron un 1,4 % más de votos de «útil» que las versiones con plantilla. El artículo dice que Smart Filters respondió 15 veces más rápido en el percentil 99 tras desplegar el modelo destilado con cabezales de aceleración, sin decir con qué se comparó.
En sus experimentos fuera de línea, la combinación de destilación y Medusa redujo el tiempo de respuesta de 10 a 20 veces manteniendo la precisión del profesor, y los cabezales de aceleración redujeron el coste de generar las descripciones en 1,9 y 3,2 veces.
Qué replicar
Elija la métrica que se ajuste a cada función y pruebe con usuarios reales. Fije desde el principio un presupuesto de latencia para las funciones que los usuarios esperan. Compare el modelo pequeño con el modelo grande que usaría de otro modo, tanto en calidad como en coste.
Todas las cifras comunicadas
| Indicador | Cifra | Cita |
|---|---|---|
| Variación de los clics en las tarjetas de recomendación de AI Trip Planner, prueba A/B del modelo destilado propio frente a OpenAI GPT-3.5 con tráfico real durante varias semanas | +2,9 %1 | |
| Variación de los votos de «útil» en las descripciones de alojamientos generadas frente a las descripciones basadas en plantillas, prueba A/B con tráfico real durante varias semanas | +1,4 %1 | |
| Velocidad de las respuestas de Smart Filters en el percentil 99 tras desplegar el modelo destilado con cabezales de aceleración Medusa (el artículo no da una referencia) | 15 veces más rápido1 | |
| Reducción del tiempo de respuesta con un modelo destilado pequeño más cabezales de aceleración, en los experimentos fuera de línea del artículo con un modelo de 1,1 mil millones de parámetros (no es tráfico real) | 10 a 20 veces1 | |
| Reducción del coste de generar descripciones de alojamientos con los cabezales de aceleración (dos variantes), en los experimentos fuera de línea del artículo (no es tráfico real) | 1,9 y 3,2 veces1 |
Lecciones para su proyecto
La velocidad es una función. En las funciones que responden en tiempo real, como los filtros de búsqueda, el equipo ajustó el tiempo de respuesta además de la calidad y probó con usuarios reales.
Use un modelo grande para enseñar a uno pequeño. Booking.com usó las etiquetas de un modelo de 70 mil millones de parámetros para entrenar a un alumno mucho más pequeño, manteniendo la calidad y reduciendo la demora.
Someta cada función a una prueba A/B real. Las tres aplicaciones se probaron con tráfico real durante varias semanas.
Elija la métrica adecuada para cada caso: clics para las recomendaciones, votos de «útil» para las descripciones y tiempo de respuesta p99 para los filtros.
Salvedades
- Todas las cifras proceden de un artículo de personal de Booking.com y Amazon Web Services en la sesión de industria de ACL 2025. Ningún tercero las ha confirmado.
- El artículo solo nombra un «in-house fine-tuned distilled LLM» como modelo en producción y no dice qué modelo base impulsa las funciones en producción. TinyLlama-1.1B (el alumno), y Llama-3.1-70B (el profesor) solo se nombran en los experimentos fuera de línea del artículo, por lo que el modelo se muestra como no divulgado.
- Los resultados de +2,9 % y +1,4 % son variaciones porcentuales sin valores de referencia, tamaños de muestra ni pruebas de significación. El artículo no dice cuántas semanas duraron las pruebas.
- La cifra de 15 veces para Smart Filters se indica sin el modelo ni la configuración con los que se compara. Las cifras de 10 a 20 veces y de coste proceden de experimentos fuera de línea en un solo tipo de máquina, no de tráfico de producción.
- Para la función de descripciones, el artículo no dice qué modelo escribió el texto en producción. GPT-4 produjo los ejemplos de entrenamiento.
- El artículo no indica país ni región de la empresa, por lo que la región se muestra como global.
- El artículo no da fechas de puesta en marcha. La fecha de despliegue es el mes de las actas de la conferencia (julio de 2025).
Fuentes
- Speed Without Sacrifice: Fine-Tuning Language Models with Medusa and Knowledge Distillation in Travel Applications
ACL 2025 Industry Track (Booking.com and Amazon AWS Professional Services authors) · 2025-07 · Artículo de investigación · aclanthology.org
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.