Instacart nutzt große Sprachmodelle, darunter ein angepasstes Llama-3-8B, um seltene Lebensmittelsuchen zu verstehen

Das Problem

Wenn Kundinnen und Kunden bei Instacart suchen, tippen sie Dinge wie „bread no gluten“ (Übersetzung: „Brot ohne Gluten“). Die Aufgabe, solche Anfragen zu verstehen, nennt das Unternehmen Query Understanding. Jahrelang stützte es sich dafür auf getrennte Modelle des maschinellen Lernens für jede Teilaufgabe. Seltene Suchen fielen ihnen schwer, weil es kaum Klickverläufe zum Lernen gab. Das alte Umformulierungssystem deckte außerdem nur etwa die Hälfte des Suchverkehrs ab. Die vielen getrennten Systeme bremsten die Entwicklung.

Was sie gebaut haben

Instacart verlagerte das Verständnis von Suchanfragen in drei Aufgaben auf große Sprachmodelle. Das erste ordnet eine Anfrage in den Kategoriebaum des Produktkatalogs ein. Das zweite formuliert Anfragen als Ersatzprodukte, breitere Suchen oder Synonyme um. Das dritte kennzeichnet Teile einer Anfrage, etwa Produkt, Marke und Eigenschaften.

Für das Tagging baute Instacart ein zweiteiliges System. Ein großes Modell arbeitet offline an häufigen Anfragen und legt geprüfte Antworten in einem Cache ab. Seltene Anfragen gehen an ein kleines Modell, ein feinabgestimmtes Llama-3-8B. Open-Weight heißt, dass die Modelldateien veröffentlicht sind, sodass ein Unternehmen das Modell anpassen und selbst betreiben kann.

Wie sie vorgegangen sind

Instacart speist eigene Daten in die Prompts ein: Kaufhistorie und Katalogdetails. Diese Technik heißt Retrieval-Augmented Generation. Nachdem das Modell geantwortet hat, entfernen Prüfungen gegen den Produktkatalog erfundene oder unpassende Ergebnisse. Die Antworten des Offline-Modells dienten außerdem als Trainingsdaten für das kleine Modell, sodass dieses lernte, das größere nachzuahmen.

Die Geschwindigkeit war die größte Hürde. Im Auslieferungszustand brauchte das kleine Modell knapp 700 ms auf A100-GPUs. Das Zusammenführen der Anpassungsschicht mit dem Basismodell und der Wechsel auf H100-GPUs erreichten das Ziel von 300 ms. Das Team testete eine Konfiguration mit geringerer Rechengenauigkeit, die etwa 10 % schneller war, aber den Recall leicht verschlechterte, und setzte sie nicht ein. Es ergänzte zudem eine automatische Skalierung, damit zu ruhigen Zeiten weniger GPUs laufen.

Ergebnisse

Instacart berichtet, dass das kleine Modell mit einem deutlich größeren mithält: 96,4 % Genauigkeit gegenüber 95,4 %, etwas geringerer Recall und ähnlicher F1-Wert. In A/B-Tests senkte das Tagging seltener Suchanfragen die durchschnittliche Scrolltiefe um 6 %, die Kundschaft fand Artikel also schneller. Instacart sagt, das System sei live, bearbeite wöchentlich Millionen von Cold-Start-Suchanfragen und habe die Beschwerden über schlechte Ergebnisse bei seltenen Suchanfragen um 50 % gesenkt. Umformulierungen mit großen Sprachmodellen hoben die Abdeckung auf über 95 % bei mehr als 90 % Genauigkeit.

Was Sie übernehmen können

Nutzen Sie große Modelle, um Daten und Antworten offline vorzubereiten, und bedienen Sie den Long Tail dann mit einem kleinen angepassten Modell.