Traduit de l’original anglais. Les chiffres et les sources sont inchangés. Lire l’original en anglais
Booking.com
Booking.com teste des modèles de langage maison plus rapides dans Trip Planner, Smart Filters et les descriptions d'hébergements
Booking.com indique faire fonctionner des modèles de langage maison, affinés et distillés, dans son AI Trip Planner et ses Smart Filters, et avoir testé des descriptions d'hébergements générées. Lors de tests en conditions réelles sur plusieurs semaines, le modèle du Trip Planner a obtenu 2,9 % de clics en plus sur les cartes de recommandation qu'OpenAI GPT-3.5, et les descriptions générées ont recueilli 1,4 % de votes « utile » en plus que les modèles de texte.
Chiffres clés
Repris tels quels des sources. Copiez n’importe quel chiffre avec sa citation.
+2,9 %
Variation des clics sur les cartes de recommandation dans AI Trip Planner, test A/B du modèle distillé maison contre OpenAI GPT-3.5 sur du trafic réel pendant plusieurs semaines1
+1,4 %
Variation des votes « utile » pour les descriptions d'hébergements générées par rapport aux descriptions à base de modèles de texte, test A/B sur du trafic réel pendant plusieurs semaines1
15
fois plus rapide
Rapidité des réponses de Smart Filters au 99e centile après le déploiement du modèle distillé avec des têtes d'accélération Medusa (l'article ne donne pas de référence)1
10
à 20 fois
Réduction du temps de réponse avec un petit modèle distillé et des têtes d'accélération, dans les expériences hors ligne de l'article sur un modèle de 1,1 milliard de paramètres (pas du trafic réel)1
Ce que cela a demandé
Le problème
Booking.com veut des fonctionnalités d'IA qui répondent en temps réel. Les grands modèles de langage écrivent bien, mais sont lents et coûteux à exécuter. Les auteurs citent des recherches montrant que même 100 à 400 millisecondes de délai supplémentaire peuvent réduire l'engagement des utilisateurs. L'entreprise a aussi besoin de descriptions pour 3 millions d'hébergements, tenues à jour à mesure que les établissements évoluent. Les descriptions à base de modèles de texte sont répétitives et difficiles à maintenir.
Ce qu'ils ont construit
L'article porte sur trois fonctionnalités de Booking.com.
AI Trip Planner est un assistant conversationnel qui suggère des hôtels et des destinations. Un modèle affiné extrait de la conversation des informations structurées sur le voyage, comme les dates et les préférences, et les transmet aux systèmes de recommandation de Booking.com. Smart Filters permet à l'utilisateur de saisir une recherche en texte libre et la convertit en filtres habituels. Les descriptions d'hébergements générées utilisent l'IA pour rédiger des descriptions de biens à partir des attributs fournis par les partenaires, en remplacement de modèles de texte figés.
Pour les fonctionnalités en production, l'article décrit un modèle de langage maison, affiné et distillé, doté d'une technique d'accélération appelée Medusa. La distillation consiste à faire apprendre à un petit modèle à partir des sorties d'un plus grand. Medusa permet à un modèle de prédire plusieurs mots à la fois.
Comment ils s'y sont pris
Dans les expériences hors ligne, un modèle Llama 3.1 de 70 milliards de paramètres affiné a étiqueté 17 000 exemples supplémentaires tirés des requêtes de production de Booking.com. Ils ont été combinés à 9 000 exemples annotés par des humains pour entraîner un élève TinyLlama de 1,1 milliard de paramètres. Pour les descriptions, GPT-4 a rédigé des exemples d'entraînement pour 10 000 hébergements et des experts de contenu en ont retouché 273.
Les modèles fonctionnent sur Amazon SageMaker avec mise à l'échelle automatique. Trip Planner et Smart Filters fonctionnent en temps réel. Les descriptions sont traitées par lots lorsque les données d'un bien changent.
Résultats
Lors de tests A/B sur du trafic réel pendant plusieurs semaines, le modèle du Trip Planner a généré 2,9 % de clics en plus sur les cartes de recommandation qu'OpenAI GPT-3.5, et les descriptions générées ont obtenu 1,4 % de votes « utile » en plus que les versions à base de modèles de texte. L'article indique que Smart Filters répondait 15 fois plus vite au 99e centile après le déploiement du modèle distillé avec des têtes d'accélération, sans préciser à quoi il est comparé.
Dans ses expériences hors ligne, la combinaison de la distillation et de Medusa a réduit le temps de réponse de 10 à 20 fois tout en conservant la précision du professeur, et les têtes d'accélération ont réduit le coût de génération des descriptions de 1,9 et 3,2 fois.
Ce qu'il faut retenir
Choisissez la métrique adaptée à chaque fonctionnalité et testez auprès de vrais utilisateurs. Fixez dès le départ un budget de latence pour les fonctions que les utilisateurs attendent. Comparez le petit modèle au grand modèle que vous utiliseriez sinon, sur la qualité comme sur le coût.
Tous les chiffres publiés
| Indicateur | Chiffre | Citation |
|---|---|---|
| Variation des clics sur les cartes de recommandation dans AI Trip Planner, test A/B du modèle distillé maison contre OpenAI GPT-3.5 sur du trafic réel pendant plusieurs semaines | +2,9 %1 | |
| Variation des votes « utile » pour les descriptions d'hébergements générées par rapport aux descriptions à base de modèles de texte, test A/B sur du trafic réel pendant plusieurs semaines | +1,4 %1 | |
| Rapidité des réponses de Smart Filters au 99e centile après le déploiement du modèle distillé avec des têtes d'accélération Medusa (l'article ne donne pas de référence) | 15 fois plus rapide1 | |
| Réduction du temps de réponse avec un petit modèle distillé et des têtes d'accélération, dans les expériences hors ligne de l'article sur un modèle de 1,1 milliard de paramètres (pas du trafic réel) | 10 à 20 fois1 | |
| Réduction du coût de génération des descriptions d'hébergements avec les têtes d'accélération (deux variantes), dans les expériences hors ligne de l'article (pas du trafic réel) | 1,9 et 3,2 fois1 |
Enseignements pour votre projet
La vitesse est une fonctionnalité. Pour les fonctions qui répondent en temps réel, comme les filtres de recherche, l'équipe a optimisé le temps de réponse autant que la qualité, et testé avec de vrais utilisateurs.
Utilisez un grand modèle pour en former un petit. Booking.com a utilisé les étiquettes d'un modèle de 70 milliards de paramètres pour entraîner un élève beaucoup plus petit, en préservant la qualité tout en réduisant le délai.
Passez chaque fonctionnalité par un test A/B en conditions réelles. Les trois applications ont été testées sur du trafic réel pendant plusieurs semaines.
Choisissez le bon étalon pour chaque usage : les clics pour les recommandations, les votes « utile » pour les descriptions, et le temps de réponse p99 pour les filtres.
Réserves
- Tous les chiffres proviennent d'un article rédigé par des collaborateurs de Booking.com et d'Amazon Web Services, présenté à l'ACL 2025 (session industrie). Aucun tiers ne les a confirmés.
- L'article parle seulement d'un « in-house fine-tuned distilled LLM » pour le modèle en production et ne dit pas quel modèle de base alimente les fonctionnalités en service. TinyLlama-1.1B (l'élève) et Llama-3.1-70B (le professeur) ne sont nommés que pour les expériences hors ligne de l'article ; le modèle est donc indiqué comme non divulgué.
- Les résultats de +2,9 % et +1,4 % sont des variations en pourcentage, sans valeurs de référence, taille d'échantillon ni tests de significativité. L'article ne dit pas combien de semaines les tests ont duré.
- Le chiffre de 15 fois pour Smart Filters est donné sans préciser le modèle ni la configuration auxquels il est comparé. Les chiffres de 10 à 20 fois et de coût proviennent d'expériences hors ligne sur un seul type de machine, et non de trafic de production.
- Pour la fonction de descriptions, l'article ne dit pas quel modèle a rédigé le texte en production. GPT-4 a produit les exemples d'entraînement.
- L'article n'indique ni pays ni région pour l'entreprise ; la région est donc affichée comme « global ».
- L'article ne donne aucune date de mise en service. La date de déploiement est le mois des actes de la conférence (juillet 2025).
Sources
- Speed Without Sacrifice: Fine-Tuning Language Models with Medusa and Knowledge Distillation in Travel Applications
ACL 2025 Industry Track (Booking.com and Amazon AWS Professional Services authors) · 2025-07 · Article de recherche · aclanthology.org
Résumé dans nos propres mots à partir des sources ci-dessus. Une erreur ? Consultez les corrections.