Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Instacart
Instacart gebruikt grote taalmodellen, waaronder een afgestemde Llama-3-8B, om zeldzame zoekopdrachten naar boodschappen te begrijpen
Instacart verving meerdere oudere modellen voor zoekintentie door grote taalmodellen. Bij zeldzame, ongewoon geformuleerde zoekopdrachten verlaagde een afgestemd open-weightmodel, Llama-3-8B, de gemiddelde scrolldiepte met 6% en de klachten over die resultaten met 50%, volgens de engineeringblog van Instacart.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
6%
Daling van de gemiddelde scrolldiepte bij zeldzame zoekopdrachten (long tail) na de nieuwe tagging met grote taalmodellen, volgens een A/B-test1
50%
Daling van klachten van gebruikers over slechte zoekresultaten bij zeldzame zoekopdrachten1
meer dan 95%, met meer dan 90% precisie
Dekking van het herformuleren van zoekopdrachten met de aanpak op basis van grote taalmodellen, over drie soorten herformulering1
50%
Dekking van het herformuleren van zoekopdrachten door het oude systeem, als aandeel van het zoekverkeer1
Wat het kostte
Het probleem
Wanneer klanten bij Instacart zoeken, typen ze dingen als "bread no gluten" (vertaling: "brood zonder gluten"). Het bedrijf noemt het begrijpen van zulke zoekopdrachten query understanding. Jarenlang vertrouwde het daarvoor op aparte machinelearningmodellen per taak. Zeldzame zoekopdrachten waren moeilijk voor die modellen, omdat er weinig klikgeschiedenis was om van te leren. Het oude herformuleringssysteem dekte bovendien maar ongeveer de helft van het zoekverkeer. Het onderhoud van zoveel aparte systemen vertraagde de ontwikkeling.
Wat ze bouwden
Instacart liet het begrijpen van zoekopdrachten overnemen door grote taalmodellen (LLM's) in drie taken. Een eerste plaatst een zoekopdracht in de categorieboom van de productcatalogus. Een tweede herformuleert zoekopdrachten als vervangers, bredere zoekopdrachten of synoniemen. Een derde tagt onderdelen van een zoekopdracht, zoals het product, het merk en de kenmerken.
Voor het taggen bouwde Instacart een systeem in twee delen. Een groot model werkt offline aan veelvoorkomende zoekopdrachten en slaat gevalideerde antwoorden op in een cache. Zeldzame zoekopdrachten gaan naar een klein model, een afgestemde Llama-3-8B. Open-weight betekent dat de modelbestanden openbaar zijn, zodat een bedrijf het model kan aanpassen en zelf kan hosten.
Hoe ze het aanpakten
Instacart voert eigen gegevens in de prompts in: aankoopgeschiedenis en cataloguspecificaties. Deze techniek heet retrieval-augmented generation. Nadat het model heeft geantwoord, verwijderen controles tegen de productcatalogus verzonnen of niet passende resultaten. De antwoorden van het offlinemodel dienden ook als trainingsdata voor het kleine model, dat zo leerde het grotere na te bootsen.
Snelheid was de grootste hindernis. In de standaardopzet deed het kleine model er bijna 700 ms over op A100-GPU's. Door de afstemmingslaag samen te voegen met het basismodel en over te stappen op H100-GPU's werd de doelstelling van 300 ms gehaald. Het team testte een opzet met lagere rekennauwkeurigheid, die ongeveer 10% sneller was maar de recall licht verslechterde, en gebruikte die niet. Het voegde ook automatische schaling toe, zodat op rustige uren minder GPU's draaien.
Resultaten
Instacart meldt dat het kleine model de prestaties van een veel groter model evenaart, met 96,4% precisie tegenover 95,4%, iets lagere recall en een vergelijkbare F1-score. In A/B-tests verlaagde het taggen van zeldzame zoekopdrachten de gemiddelde scrolldiepte met 6%, waardoor klanten sneller vonden wat ze zochten. Instacart zegt dat het systeem live is, wekelijks miljoenen cold-startzoekopdrachten verwerkt en de klachten over slechte resultaten bij zeldzame zoekopdrachten met 50% verlaagde. Herformuleringen met grote taalmodellen brachten de dekking boven 95%, met meer dan 90% precisie.
Wat u kunt overnemen
Gebruik grote modellen om gegevens en antwoorden offline voor te bereiden en bedien de long tail daarna met een klein afgestemd model.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Daling van de gemiddelde scrolldiepte bij zeldzame zoekopdrachten (long tail) na de nieuwe tagging met grote taalmodellen, volgens een A/B-test | 6%1 | |
| Daling van klachten van gebruikers over slechte zoekresultaten bij zeldzame zoekopdrachten | 50%1 | |
| Dekking van het herformuleren van zoekopdrachten met de aanpak op basis van grote taalmodellen, over drie soorten herformulering | meer dan 95%, met meer dan 90% precisie1 | |
| Dekking van het herformuleren van zoekopdrachten door het oude systeem, als aandeel van het zoekverkeer | 50%1 | |
| Precisie van het afgestemde 8B-model in productie voor het taggen van zoekopdrachten, tegenover een veel groter referentiemodel | 96,4% tegenover 95,4%1 | |
| Cold-startzoekopdrachten die het realtimemodel verwerkt | wekelijks miljoenen1 |
Lessen voor uw project
Consolideer voordat u opschaalt. Instacart verving aparte modellen voor classificatie en herformulering door een gedeelde aanpak met grote taalmodellen, die makkelijker te onderhouden is.
Besteed de inspanning van het dure model offline. Instacart bewaarde resultaten voor veelvoorkomende zoekopdrachten in een cache en gebruikte een klein afgestemd model alleen voor zeldzame.
Bouw bedrijfscontroles rond het model. Instacart filtert uitvoer tegen zijn productcatalogus en een gelijkenisdrempel om verzonnen resultaten te verwijderen.
Stel vóór de lancering een latentiedoel vast. Instacart vond aanpassingen in hardware en afstemming om circa 300 ms te halen en zag af van een snellere optie die de recall verlaagde.
Kanttekeningen
- Alle cijfers komen uit de engineeringblog van Instacart. Geen onafhankelijke bron bevestigt ze.
- De pagina van Instacart blokkeerde geautomatiseerde toegang, dus deze casus is geschreven op basis van een gearchiveerde kopie van het bericht.
- Alleen het realtimemodel voor tagging wordt genoemd (Llama-3-8B). Het bericht noemt de modellen achter de categorieclassificatie en de herformuleringen niet.
- Het bericht geeft geen startdatum. De getoonde datum van ingebruikname is de datum van het bericht.
- De resultaten van 6% en 50% gelden voor zeldzame zoekopdrachten (het bericht noemt de onderste 2% van de zoekopdrachten), niet voor alle zoekopdrachten.
- Het bericht geeft geen kosten- of teamcijfers.
Bronnen
- Building The Intent Engine: How Instacart is Revamping Query Understanding with LLMs
tech-at-instacart (Instacart Engineering) · 2025-11-13 · Bedrijfsblog · tech.instacart.com
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.