Instacart utilise des LLM, dont un Llama-3-8B affiné, pour comprendre les recherches rares

Le problème

Quand les clients cherchent sur Instacart, ils tapent des requêtes comme « bread no gluten » (traduction : « pain sans gluten »). L'entreprise appelle compréhension des requêtes le travail qui consiste à les interpréter. Pendant des années, elle s'est appuyée sur des modèles d'apprentissage automatique distincts pour chaque tâche. Les recherches rares leur posaient problème, faute d'historique de clics pour apprendre. L'ancien système de reformulation ne couvrait en outre qu'environ la moitié du trafic de recherche. Multiplier les systèmes séparés ralentissait le développement.

Ce qu’ils ont construit

Instacart a confié la compréhension des requêtes à des grands modèles de langage (LLM) pour trois tâches. La première range une requête dans l'arborescence des catégories du catalogue. La deuxième la reformule en substituts, en recherches plus larges ou en synonymes. La troisième étiquette les éléments d'une requête, comme le produit, la marque et les attributs.

Pour l'étiquetage, Instacart a conçu un système en deux volets. Un grand modèle travaille hors ligne sur les requêtes courantes et stocke ses réponses validées dans un cache. Les requêtes rares vont vers un petit modèle, un Llama-3-8B affiné. Open weight signifie que les fichiers du modèle sont publiés : une entreprise peut donc l'adapter et l'héberger.

Comment ils s’y sont pris

Instacart injecte ses propres données dans les prompts : historique d'achats et détails du catalogue. Cette technique s'appelle la génération augmentée par récupération. Une fois la réponse du modèle obtenue, des contrôles par rapport au catalogue écartent les résultats inventés ou hors sujet. Les réponses du modèle hors ligne ont aussi servi de données d'entraînement au petit modèle, qui a ainsi appris à imiter le plus grand.

La vitesse était l'obstacle principal. En configuration d'origine, le petit modèle mettait près de 700 ms sur des GPU A100. La fusion de la couche d'affinage dans le modèle de base et le passage à des GPU H100 ont permis d'atteindre l'objectif de 300 ms. L'équipe a testé une configuration de précision réduite, environ 10 % plus rapide mais qui dégradait légèrement le rappel, et ne l'a pas retenue. Elle a aussi ajouté une mise à l'échelle automatique, de sorte que moins de GPU tournent aux heures creuses.

Résultats

Instacart indique que le petit modèle égale un modèle bien plus grand, avec une précision de 96,4 % contre 95,4 %, un rappel légèrement inférieur et un score F1 similaire. Lors de tests A/B, l'étiquetage des requêtes de longue traîne a réduit de 6 % la profondeur moyenne de défilement : les clients trouvaient donc plus vite leurs produits. Instacart affirme que le système est en service, traite chaque semaine des millions de requêtes en démarrage à froid et a réduit de 50 % les plaintes sur la mauvaise qualité des résultats de longue traîne. Les reformulations par LLM ont porté la couverture au-delà de 95 %, avec plus de 90 % de précision.

Ce qu’il faut retenir

Utiliser les grands modèles pour préparer données et réponses hors ligne, puis servir la longue traîne avec un petit modèle affiné.