Instacart usa modelli linguistici, tra cui un Llama-3-8B ottimizzato, per capire le ricerche rare di spesa alimentare

Il problema

Quando i clienti cercano su Instacart, digitano cose come "bread no gluten" (traduzione: "pane senza glutine"). L'azienda chiama query understanding il lavoro di capire queste ricerche. Per anni si è affidata a modelli di apprendimento automatico separati per ogni compito. Le ricerche rare erano difficili per loro, perché c'era poca cronologia di clic da cui imparare. Il vecchio sistema di riformulazione copriva inoltre solo circa metà del traffico di ricerca. Mantenere tanti sistemi separati rallentava lo sviluppo.

Cosa hanno costruito

Instacart ha affidato la comprensione delle query a grandi modelli linguistici (LLM) in tre compiti. Uno colloca la query nell'albero delle categorie del catalogo prodotti. Un secondo la riformula come sostituti, ricerche più ampie o sinonimi. Un terzo etichetta le parti di una query, come prodotto, marca e attributi.

Per l'etichettatura, Instacart ha costruito un sistema in due parti. Un modello grande lavora offline sulle query comuni e conserva le risposte convalidate in una cache. Le query rare vanno a un modello piccolo, un Llama-3-8B ottimizzato. Open weight significa che i file del modello sono pubblicati, quindi un'azienda può adattarlo e ospitarlo.

Come ci sono riusciti

Instacart inserisce i propri dati nei prompt: cronologia degli acquisti e dettagli del catalogo. Questa tecnica si chiama retrieval-augmented generation. Dopo la risposta del modello, controlli sul catalogo prodotti eliminano i risultati inventati o fuori bersaglio. Le risposte del modello offline sono servite anche come dati di addestramento per il modello piccolo, che ha così imparato a imitare quello più grande.

La velocità è stato l'ostacolo principale. In configurazione di base, il modello piccolo impiegava quasi 700 ms su GPU A100. Unire lo strato di ottimizzazione al modello di base e passare a GPU H100 ha consentito di raggiungere l'obiettivo di 300 ms. Il team ha provato una configurazione a precisione ridotta, circa il 10% più veloce ma con un lieve peggioramento del recall, e non l'ha adottata. Ha aggiunto anche lo scaling automatico, così nelle ore tranquille funzionano meno GPU.

Risultati

Instacart riferisce che il modello piccolo eguaglia uno molto più grande, con una precisione del 96,4% contro il 95,4%, un recall leggermente inferiore e un F1 simile. Nei test A/B, l'etichettatura delle query di coda ha ridotto del 6% la profondità media di scorrimento, quindi i clienti trovavano i prodotti più in fretta. Instacart afferma che il sistema è attivo, gestisce ogni settimana milioni di query cold start e ha ridotto del 50% i reclami sui risultati scadenti delle query di coda. Le riformulazioni con modelli linguistici hanno portato la copertura oltre il 95%, con oltre il 90% di precisione.

Cosa replicare

Usare i modelli grandi per preparare dati e risposte offline, poi servire la coda lunga con un piccolo modello ottimizzato.