Booking.com testet schnellere eigene Sprachmodelle in Trip Planner, Smart Filters und Unterkunftsbeschreibungen

Das Problem

Booking.com will KI-Funktionen, die in Echtzeit antworten. Große Sprachmodelle schreiben gut, sind aber langsam und teuer im Betrieb. Die Autoren verweisen auf Forschung, nach der schon 100 bis 400 Millisekunden zusätzliche Verzögerung die Nutzerbindung senken können. Außerdem braucht das Unternehmen Beschreibungen für 3 Millionen Unterkünfte, die aktuell bleiben müssen, wenn sich Objekte ändern. Vorlagenbasierte Beschreibungen sind eintönig und schwer zu pflegen.

Was sie gebaut haben

Das Paper behandelt drei Funktionen von Booking.com.

AI Trip Planner ist ein Chat-Assistent, der Hotels und Reiseziele vorschlägt. Ein feinabgestimmtes Modell zieht strukturierte Reisedetails, etwa Daten und Präferenzen, aus dem Gespräch und reicht sie an die Empfehlungssysteme von Booking.com weiter. Smart Filters lässt Nutzer eine Freitextsuche eingeben und wandelt sie in die üblichen Filter um. Generierte Unterkunftsbeschreibungen nutzen KI, um aus den von Partnern gelieferten Attributen Objektbeschreibungen zu schreiben, und ersetzen feste Vorlagen.

Für die Live-Funktionen beschreibt das Paper ein eigenes, feinabgestimmtes, destilliertes Sprachmodell mit einer Beschleunigungstechnik namens Medusa. Destillation bedeutet, dass ein kleines Modell von den Ausgaben eines größeren lernt. Medusa lässt ein Modell mehrere Wörter auf einmal vorhersagen.

Wie sie vorgegangen sind

In den Offline-Experimenten labelte ein feinabgestimmtes Llama 3.1 mit 70 Milliarden Parametern 17.000 zusätzliche Beispiele aus Produktionsanfragen von Booking.com. Diese wurden mit 9.000 von Menschen gelabelten Beispielen kombiniert, um einen TinyLlama-Schüler mit 1,1 Milliarden Parametern zu trainieren. Für Beschreibungen schrieb GPT-4 Trainingsbeispiele für 10.000 Unterkünfte, und Content-Experten überarbeiteten 273 davon.

Die Modelle laufen auf Amazon SageMaker mit Autoscaling. Trip Planner und Smart Filters laufen in Echtzeit. Beschreibungen laufen im Batch, wenn sich Objektdaten ändern.

Ergebnisse

In A/B-Tests auf echtem Verkehr über mehrere Wochen führte das Trip-Planner-Modell zu 2,9 % mehr Klicks auf Empfehlungskarten als OpenAI GPT-3.5, und generierte Beschreibungen erhielten 1,4 % mehr „hilfreich“-Stimmen als die Vorlagenversionen. Laut Paper antwortete Smart Filters im 99. Perzentil 15-mal schneller, nachdem das destillierte Modell mit Beschleunigungsköpfen eingesetzt worden war, ohne zu sagen, womit verglichen wurde.

In den Offline-Experimenten verkürzte die Kombination aus Destillation und Medusa die Antwortzeit um das 10- bis 20-Fache bei gleichbleibender Genauigkeit des Lehrers, und die Beschleunigungsköpfe senkten die Kosten für die Erzeugung der Beschreibungen um das 1,9- und 3,2-Fache.

Was Sie übernehmen können

Wählen Sie die Kennzahl, die zu jeder Funktion passt, und testen Sie mit echten Nutzern. Legen Sie für Funktionen, auf die Nutzer warten, gleich zu Beginn ein Latenzbudget fest. Vergleichen Sie das kleine Modell mit dem großen Modell, das Sie sonst einsetzen würden, sowohl bei Qualität als auch bei Kosten.