Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Booking.com
Booking.com testuje szybsze własne modele językowe w Trip Plannerze, Smart Filters i opisach obiektów
Booking.com podaje, że w swoim AI Trip Planner i Smart Filters używa własnych, dostrojonych i destylowanych modeli językowych oraz przetestował generowane opisy obiektów noclegowych. W trwających kilka tygodni testach na żywo model Trip Plannera uzyskał o 2,9 % więcej kliknięć w karty rekomendacji niż OpenAI GPT-3.5, a generowane opisy zebrały o 1,4 % więcej głosów „przydatne” niż szablony.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
+2,9 %
Zmiana liczby kliknięć w karty rekomendacji w AI Trip Planner, test A/B własnego modelu destylowanego względem OpenAI GPT-3.5 na rzeczywistym ruchu przez kilka tygodni1
+1,4 %
Zmiana liczby głosów „przydatne” dla generowanych opisów obiektów w porównaniu z opisami opartymi na szablonach, test A/B na rzeczywistym ruchu przez kilka tygodni1
15
razy szybciej
Szybkość odpowiedzi Smart Filters w 99. percentylu po wdrożeniu modelu destylowanego z głowicami przyspieszającymi Medusa (artykuł nie podaje punktu odniesienia)1
od 10 do 20 razy
Skrócenie czasu odpowiedzi dzięki małemu modelowi destylowanemu i głowicom przyspieszającym, w eksperymentach offline z artykułu na modelu 1,1 mld parametrów (nie ruch na żywo)1
Ile to kosztowało
Problem
Booking.com chce funkcji AI, które odpowiadają w czasie rzeczywistym. Duże modele językowe dobrze piszą, ale są powolne i drogie w działaniu. Autorzy powołują się na badania, według których nawet 100 do 400 milisekund dodatkowego opóźnienia może obniżyć zaangażowanie użytkowników. Firma potrzebuje też opisów dla 3 milionów obiektów noclegowych, aktualizowanych wraz ze zmianami w obiektach. Opisy oparte na szablonach są powtarzalne i trudne w utrzymaniu.
Co zbudowano
Artykuł dotyczy trzech funkcji Booking.com.
AI Trip Planner to asystent czatu, który podpowiada hotele i kierunki podróży. Dostrojony model wyciąga z rozmowy ustrukturyzowane szczegóły podróży, takie jak daty i preferencje, i przekazuje je systemom rekomendacji Booking.com. Smart Filters pozwala użytkownikom wpisać zapytanie w wolnym tekście i zamienia je na zwykłe filtry. Generowane opisy obiektów wykorzystują AI do pisania opisów na podstawie atrybutów dostarczanych przez partnerów, w miejsce stałych szablonów.
Dla funkcji na żywo artykuł opisuje własny, dostrojony i destylowany model językowy z techniką przyspieszania o nazwie Medusa. Destylacja oznacza, że mały model uczy się na wynikach większego. Medusa pozwala modelowi przewidywać kilka słów naraz.
Jak to zrobiono
W eksperymentach offline dostrojony Llama 3.1 o 70 mld parametrów oznaczył 17 000 dodatkowych przykładów pochodzących z zapytań produkcyjnych Booking.com. Połączono je z 9 000 przykładów oznaczonych przez ludzi, aby wytrenować ucznia TinyLlama o 1,1 mld parametrów. Dla opisów GPT-4 napisał przykłady treningowe dla 10 000 obiektów, a eksperci od treści zredagowali 273 z nich.
Modele działają na Amazon SageMaker z automatycznym skalowaniem. Trip Planner i Smart Filters działają w czasie rzeczywistym. Opisy są przetwarzane wsadowo, gdy zmieniają się dane obiektu.
Wyniki
W testach A/B na rzeczywistym ruchu trwających kilka tygodni model Trip Plannera dał o 2,9 % więcej kliknięć w karty rekomendacji niż OpenAI GPT-3.5, a generowane opisy zebrały o 1,4 % więcej głosów „przydatne” niż wersje szablonowe. Artykuł podaje, że Smart Filters odpowiadał 15 razy szybciej w 99. percentylu po wdrożeniu modelu destylowanego z głowicami przyspieszającymi, nie mówiąc, z czym go porównano.
W eksperymentach offline połączenie destylacji i Medusy skróciło czas odpowiedzi od 10 do 20 razy przy zachowaniu dokładności nauczyciela, a głowice przyspieszające obniżyły koszt generowania opisów 1,9 i 3,2 razy.
Co warto powtórzyć
Warto wybrać miarę dopasowaną do każdej funkcji i testować z prawdziwymi użytkownikami. Warto od początku ustalić budżet opóźnień dla funkcji, na które użytkownicy czekają. Warto porównać mały model z dużym modelem, którego użyłoby się w innym razie, pod względem jakości i kosztu.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Zmiana liczby kliknięć w karty rekomendacji w AI Trip Planner, test A/B własnego modelu destylowanego względem OpenAI GPT-3.5 na rzeczywistym ruchu przez kilka tygodni | +2,9 %1 | |
| Zmiana liczby głosów „przydatne” dla generowanych opisów obiektów w porównaniu z opisami opartymi na szablonach, test A/B na rzeczywistym ruchu przez kilka tygodni | +1,4 %1 | |
| Szybkość odpowiedzi Smart Filters w 99. percentylu po wdrożeniu modelu destylowanego z głowicami przyspieszającymi Medusa (artykuł nie podaje punktu odniesienia) | 15 razy szybciej1 | |
| Skrócenie czasu odpowiedzi dzięki małemu modelowi destylowanemu i głowicom przyspieszającym, w eksperymentach offline z artykułu na modelu 1,1 mld parametrów (nie ruch na żywo) | od 10 do 20 razy1 | |
| Obniżenie kosztu generowania opisów obiektów dzięki głowicom przyspieszającym (dwa warianty), w eksperymentach offline z artykułu (nie ruch na żywo) | 1,9 i 3,2 razy1 |
Wnioski dla Twojego projektu
Warto traktować szybkość jak funkcję. W funkcjach odpowiadających w czasie rzeczywistym, takich jak filtry wyszukiwania, zespół dostrajał czas odpowiedzi tak samo jak jakość i testował z prawdziwymi użytkownikami.
Warto użyć dużego modelu, by nauczyć mały. Booking.com użył etykiet modelu o 70 mld parametrów do wytrenowania znacznie mniejszego ucznia, zachowując jakość i skracając opóźnienie.
Warto przeprowadzić każdą funkcję przez test A/B na żywo. Wszystkie trzy zastosowania testowano na rzeczywistym ruchu przez kilka tygodni.
Warto dobrać właściwą miarę do każdego zastosowania: kliknięcia dla rekomendacji, głosy „przydatne” dla opisów i czas odpowiedzi p99 dla filtrów.
Zastrzeżenia
- Wszystkie liczby pochodzą z artykułu pracowników Booking.com i Amazon Web Services na sesji przemysłowej ACL 2025. Żadna niezależna strona ich nie potwierdziła.
- Artykuł wymienia dla modelu działającego na żywo jedynie „in-house fine-tuned distilled LLM” i nie podaje, który model bazowy napędza funkcje na żywo. TinyLlama-1.1B (uczeń) i Llama-3.1-70B (nauczyciel) są wymienione tylko w eksperymentach offline z artykułu, dlatego model pokazano jako niejawny.
- Wyniki +2,9 % i +1,4 % to zmiany procentowe bez wartości wyjściowych, wielkości prób ani testów istotności. Artykuł nie podaje, ile tygodni trwały testy.
- Wartość 15 razy dla Smart Filters podano bez modelu lub konfiguracji, z którą ją porównano. Wartości od 10 do 20 razy i dane o kosztach pochodzą z eksperymentów offline na jednym typie maszyny, a nie z ruchu produkcyjnego.
- Dla funkcji opisów artykuł nie podaje, który model napisał tekst na żywo. GPT-4 wygenerował przykłady treningowe.
- Artykuł nie podaje kraju ani regionu firmy, więc region pokazano jako globalny.
- Artykuł nie podaje dat uruchomienia. Data wdrożenia to miesiąc materiałów konferencyjnych (lipiec 2025).
Źródła
- Speed Without Sacrifice: Fine-Tuning Language Models with Medusa and Knowledge Distillation in Travel Applications
ACL 2025 Industry Track (Booking.com and Amazon AWS Professional Services authors) · 2025-07 · Publikacja naukowa · aclanthology.org
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.