Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Booking.com
Booking.com test snellere eigen taalmodellen in Trip Planner, Smart Filters en accommodatiebeschrijvingen
Booking.com zegt dat het eigen, afgestemde en gedistilleerde taalmodellen inzet in zijn AI Trip Planner en Smart Filters, en gegenereerde accommodatiebeschrijvingen heeft getest. In live tests van meerdere weken leverde het Trip Planner-model 2,9% meer klikken op aanbevelingskaarten op dan OpenAI GPT-3.5, en gegenereerde beschrijvingen kregen 1,4% meer 'nuttig'-stemmen dan sjablonen.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
+2,9%
Verandering in klikken op aanbevelingskaarten in AI Trip Planner, A/B-test van het eigen gedistilleerde model tegen OpenAI GPT-3.5 op echt verkeer gedurende meerdere weken1
+1,4%
Verandering in 'nuttig'-stemmen voor gegenereerde accommodatiebeschrijvingen ten opzichte van sjabloongebaseerde beschrijvingen, A/B-test op echt verkeer gedurende meerdere weken1
15
keer sneller
Snelheid van Smart Filters-antwoorden op het 99e percentiel na de inzet van het gedistilleerde model met Medusa-versnellingskoppen (het paper geeft geen basislijn)1
10
tot 20 keer
Verkorting van de responstijd met een klein gedistilleerd model plus versnellingskoppen, in de offline experimenten van het paper op een model met 1,1 miljard parameters (geen live verkeer)1
Wat het kostte
Het probleem
Booking.com wil AI-functies die in realtime antwoorden. Grote taalmodellen schrijven goed, maar zijn traag en duur in gebruik. De auteurs verwijzen naar onderzoek waaruit blijkt dat zelfs 100 tot 400 milliseconden extra vertraging de betrokkenheid van gebruikers kan verminderen. Het bedrijf heeft ook beschrijvingen nodig voor 3 miljoen accommodaties, die actueel moeten blijven als objecten veranderen. Sjabloongebaseerde beschrijvingen zijn eentonig en lastig te onderhouden.
Wat ze bouwden
Het paper behandelt drie functies van Booking.com.
AI Trip Planner is een chatassistent die hotels en bestemmingen voorstelt. Een afgestemd model haalt gestructureerde reisgegevens, zoals data en voorkeuren, uit het gesprek en geeft die door aan de aanbevelingssystemen van Booking.com. Smart Filters laat gebruikers een vrije-tekstzoekopdracht typen en zet die om in de gebruikelijke filters. Gegenereerde accommodatiebeschrijvingen gebruiken AI om objectbeschrijvingen te schrijven op basis van de kenmerken die partners aanleveren, in plaats van vaste sjablonen.
Voor de live functies beschrijft het paper een eigen, afgestemd en gedistilleerd taalmodel met een versnellingstechniek die Medusa heet. Distillatie betekent dat een klein model leert van de uitvoer van een groter model. Medusa laat een model meerdere woorden tegelijk voorspellen.
Hoe ze het aanpakten
In de offline experimenten labelde een afgestemd Llama 3.1 met 70 miljard parameters 17.000 extra voorbeelden uit de productiezoekopdrachten van Booking.com. Die werden gecombineerd met 9.000 door mensen gelabelde voorbeelden om een TinyLlama-leerling met 1,1 miljard parameters te trainen. Voor beschrijvingen schreef GPT-4 trainingsvoorbeelden voor 10.000 accommodaties en bewerkten contentexperts er 273.
De modellen draaien op Amazon SageMaker met automatisch schalen. Trip Planner en Smart Filters draaien in realtime. Beschrijvingen draaien in batches wanneer objectgegevens veranderen.
Resultaten
In A/B-tests op echt verkeer gedurende meerdere weken leidde het Trip Planner-model tot 2,9% meer klikken op aanbevelingskaarten dan OpenAI GPT-3.5, en kregen gegenereerde beschrijvingen 1,4% meer 'nuttig'-stemmen dan de sjabloonversies. Het paper zegt dat Smart Filters op het 99e percentiel 15 keer sneller antwoordde nadat het gedistilleerde model met versnellingskoppen was ingezet, zonder te zeggen waarmee werd vergeleken.
In de offline experimenten verkortte de combinatie van distillatie en Medusa de responstijd met 10 tot 20 keer, met behoud van de nauwkeurigheid van de leraar, en verlaagden de versnellingskoppen de kosten van het genereren van beschrijvingen met 1,9 en 3,2 keer.
Wat u kunt overnemen
Kies de maatstaf die bij elke functie past en test met live gebruikers. Stel voor functies waarop gebruikers wachten vooraf een latentiebudget vast. Vergelijk het kleine model met het grote model dat u anders zou gebruiken, op zowel kwaliteit als kosten.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Verandering in klikken op aanbevelingskaarten in AI Trip Planner, A/B-test van het eigen gedistilleerde model tegen OpenAI GPT-3.5 op echt verkeer gedurende meerdere weken | +2,9%1 | |
| Verandering in 'nuttig'-stemmen voor gegenereerde accommodatiebeschrijvingen ten opzichte van sjabloongebaseerde beschrijvingen, A/B-test op echt verkeer gedurende meerdere weken | +1,4%1 | |
| Snelheid van Smart Filters-antwoorden op het 99e percentiel na de inzet van het gedistilleerde model met Medusa-versnellingskoppen (het paper geeft geen basislijn) | 15 keer sneller1 | |
| Verkorting van de responstijd met een klein gedistilleerd model plus versnellingskoppen, in de offline experimenten van het paper op een model met 1,1 miljard parameters (geen live verkeer) | 10 tot 20 keer1 | |
| Verlaging van de kosten voor het genereren van accommodatiebeschrijvingen met de versnellingskoppen (twee varianten), in de offline experimenten van het paper (geen live verkeer) | 1,9 en 3,2 keer1 |
Lessen voor uw project
Snelheid is een functie. Bij functies die in realtime antwoorden, zoals zoekfilters, stemde het team af op responstijd en op kwaliteit, en testte het met live gebruikers.
Gebruik een groot model om een klein model te leren. Booking.com gebruikte de labels van een model met 70 miljard parameters om een veel kleinere leerling te trainen, waarbij de kwaliteit behouden bleef en de vertraging afnam.
Laat elke functie door een live A/B-test gaan. Alle drie de toepassingen werden gedurende meerdere weken op echt verkeer getest.
Kies per toepassing de juiste maatstaf: klikken voor aanbevelingen, 'nuttig'-stemmen voor beschrijvingen en p99-responstijd voor filters.
Kanttekeningen
- Alle cijfers komen uit een paper van medewerkers van Booking.com en Amazon Web Services op de industry track van ACL 2025. Geen externe partij heeft ze bevestigd.
- Het paper noemt voor het live model alleen een 'in-house fine-tuned distilled LLM' en zegt niet welk basismodel de live functies aandrijft. TinyLlama-1.1B (de leerling) en Llama-3.1-70B (de leraar) worden alleen genoemd voor de offline experimenten van het paper, dus het model wordt als niet bekendgemaakt getoond.
- De resultaten van +2,9% en +1,4% zijn procentuele veranderingen zonder basiswaarden, steekproefgroottes of significantietests. Het paper zegt niet hoeveel weken de tests liepen.
- Het cijfer van 15 keer voor Smart Filters wordt genoemd zonder het model of de opzet waarmee wordt vergeleken. De cijfers van 10 tot 20 keer en de kostencijfers komen uit offline experimenten op één machinetype, niet uit productieverkeer.
- Voor de beschrijvingsfunctie zegt het paper niet welk model de live tekst schreef. GPT-4 leverde de trainingsvoorbeelden.
- Het paper noemt het land of de regio van het bedrijf niet, dus de regio wordt als wereldwijd getoond.
- Het paper geeft geen livegangdata. De inzetdatum is de maand van de congresbundel (juli 2025).
Bronnen
- Speed Without Sacrifice: Fine-Tuning Language Models with Medusa and Knowledge Distillation in Travel Applications
ACL 2025 Industry Track (Booking.com and Amazon AWS Professional Services authors) · 2025-07 · Onderzoeksrapport · aclanthology.org
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.