Booking.com mette alla prova modelli linguistici interni più veloci in Trip Planner, Smart Filters e descrizioni delle strutture

Il problema

Booking.com vuole funzioni di IA che rispondano in tempo reale. I grandi modelli linguistici scrivono bene, ma sono lenti e costosi da far girare. Gli autori citano ricerche secondo cui anche 100-400 millisecondi di ritardo in più possono ridurre il coinvolgimento degli utenti. L'azienda ha inoltre bisogno di descrizioni per 3 milioni di strutture, da tenere aggiornate man mano che le proprietà cambiano. Le descrizioni basate su modelli predefiniti sono ripetitive e difficili da mantenere.

Cosa hanno costruito

Il paper riguarda tre funzioni di Booking.com.

AI Trip Planner è un assistente in chat che suggerisce hotel e destinazioni. Un modello affinato estrae dalla conversazione dettagli strutturati del viaggio, come date e preferenze, e li passa ai sistemi di raccomandazione di Booking.com. Smart Filters permette agli utenti di digitare una ricerca a testo libero e la trasforma nei consueti filtri. Le descrizioni di strutture generate usano l'IA per scrivere descrizioni delle proprietà a partire dagli attributi forniti dai partner, al posto di modelli fissi.

Per le funzioni dal vivo il paper descrive un modello linguistico interno, affinato e distillato, con una tecnica di accelerazione chiamata Medusa. Distillazione significa che un piccolo modello impara dagli output di uno più grande. Medusa permette a un modello di prevedere più parole alla volta.

Come ci sono riusciti

Negli esperimenti offline, un modello Llama 3.1 affinato da 70 miliardi di parametri ha etichettato 17.000 esempi aggiuntivi presi dalle richieste di produzione di Booking.com. Sono stati combinati con 9.000 esempi etichettati da persone per addestrare uno studente TinyLlama da 1,1 miliardi di parametri. Per le descrizioni, GPT-4 ha scritto esempi di addestramento per 10.000 strutture e gli esperti di contenuti ne hanno rivisti 273.

I modelli girano su Amazon SageMaker con scalabilità automatica. Trip Planner e Smart Filters funzionano in tempo reale. Le descrizioni vengono elaborate in batch quando cambiano i dati della proprietà.

Risultati

In test A/B su traffico reale durati più settimane, il modello del Trip Planner ha portato il 2,9% di clic in più sulle schede di raccomandazione rispetto a OpenAI GPT-3.5, e le descrizioni generate hanno ottenuto l'1,4% di voti "utile" in più rispetto alle versioni con modelli predefiniti. Il paper dice che Smart Filters ha risposto 15 volte più velocemente al 99° percentile dopo l'introduzione del modello distillato con teste di accelerazione, senza dire con cosa sia stato confrontato.

Nei suoi esperimenti offline, la combinazione di distillazione e Medusa ha ridotto il tempo di risposta da 10 a 20 volte mantenendo l'accuratezza dell'insegnante, e le teste di accelerazione hanno ridotto il costo di generazione delle descrizioni di 1,9 e 3,2 volte.

Cosa replicare

Scegliere la metrica adatta a ciascuna funzione e testare con utenti reali. Fissare fin dall'inizio un budget di latenza per le funzioni su cui gli utenti attendono. Confrontare il modello piccolo con il modello grande che si userebbe altrimenti, sia per qualità sia per costo.