Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Shopify
Shopify vervangt een frontiermodel door een afgestemde Qwen3-32B-agent in Sidekick Flow
Shopify trainde een eigen agent op het open-weightmodel Qwen3-32B om verzoeken van winkeliers in gewoon Engels om te zetten in Shopify Flow-automatiseringen binnen zijn assistent Sidekick. Volgens Shopify is de agent 2,2 keer sneller en 68% goedkoper dan het frontiermodel dat hij vervangt, en verwerkt hij nu het grootste deel van het productieverkeer.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
2,2
keer sneller
Snelheid van de afgestemde Flow-agent vergeleken met het frontiermodel dat hij vervangt (basismodel en meetmethode niet vermeld)1
68%
goedkoper
Kosten van de afgestemde Flow-agent vergeleken met het frontiermodel dat hij vervangt (basis en methode niet vermeld)1
35%
lager
Activeringspercentage van workflows bij het afgestemde model vergeleken met de op prompts gebaseerde agent in de eerste test met 1% van het verkeer, vóór latere verbeteringen1
Wat het kostte
Het probleem
Met Shopify Flow automatiseren winkeleigenaren taken, zoals het taggen van bestellingen of het versturen van e-mails, door workflows op te bouwen uit triggers, voorwaarden en acties. De meeste winkeleigenaren zijn geen ingenieurs, en een leeg canvas schrikt af. Shopifys AI-assistent Sidekick schrijft de workflow op basis van een verzoek in gewoon Engels. Shopify draaide dit op een frontiermodel waarover het geen controle had, en wilde een snellere, goedkopere optie die het met eigen data kon verbeteren.
Wat ze bouwden
Shopify stemde Qwen3-32B af, een open-weightmodel (met open gewichten), waarvan de bestanden zijn gepubliceerd zodat een bedrijf het kan aanpassen en draaien. Het resultaat is een agent die tools aanroept om Flow-bouwstenen te zoeken, te configureren en tot een workflow samen te voegen. Volgens Shopify draait hij 2,2 keer sneller tegen 68% lagere kosten dan het frontiermodel dat hij vervangt, en klopt hij gesloten modellen. Hij verwerkt nu het grootste deel van het productieverkeer voor deze vaardigheid.
Hoe ze het aanpakten
Vóór de lancering waren er geen echte gesprekken om van te leren. Het team ging uit van bestaande workflows van winkeliers die echt hadden gedraaid, en liet een sterker model voor elk daarvan een aannemelijk verzoek schrijven. Shopify zegt dat het opbouwen van de stapsgewijze reeksen toolaanroepen voor elk voorbeeld het grootste deel van de engineeringinspanning was.
Het eigen formaat van Flow is voor een model moeilijk betrouwbaar te schrijven. Shopify liet het model in plaats daarvan Python zien en zette dat terug om met een vertaler die was getest op elke via Sidekick gebouwde workflow. Met dezelfde trainingsdata verhoogde het schrijven van Python in plaats van het eigen formaat het aandeel foutloze workflows met 22 punten en het aandeel dat doet wat gevraagd werd met 13 punten.
De training draait op twee nodes met H200-grafische processors. Een volledige run duurt 12 uur, waardoor wekelijks opnieuw trainen haalbaar is. Offline tests bereikten gelijkwaardigheid met de oude agent, maar de eerste livetest met 1% van het verkeer liet een 35% lager activeringspercentage zien. De kloof kwam door verzoeken die in de trainingsdata ontbraken, zoals het bewerken van bestaande workflows en het instellen van e-mail. Shopify zette daarna een wekelijkse lus op: productiegesprekken beoordelen met een gekalibreerde AI-beoordelaar, de goede aan de training toevoegen, hiaten vinden, opnieuw trainen en opnieuw uitrollen.
Resultaten
Shopify meldt dat de afgestemde agent 2,2 keer sneller en 68% goedkoper is dan het frontiermodel dat hij vervangt, en dat hij nu het grootste deel van het productieverkeer verwerkt. Volgens Shopify dichtte de verbeterlus de vroege activeringskloof in twee weken. Dezelfde aanpak wordt nu toegepast op andere Sidekick-vaardigheden.
Wat u kunt overnemen
Kies één duidelijk afgebakende taak en bewijs hem op live verkeer met een klein aandeel voordat u overstapt. Plan een doorlopende cyclus van meten en opnieuw trainen, geen eenmalige bouw.
Lessen voor uw project
Test vroeg met echt verkeer. Het model haalde de offline benchmark, maar een livetest met 1% van het verkeer liet een 35% lager activeringspercentage zien, omdat echte winkeliers dingen vroegen die de testset miste.
Begin met een afgebakende vaardigheid met een duidelijke taak voor het aanroepen van tools. Shopify isoleerde één vaardigheid, het genereren van Flows, in plaats van de hele assistent te vervangen.
Bouw een feedbacklus voordat u hem nodig hebt. Shopify beoordeelt productiegesprekken met een gekalibreerde AI-beoordelaar en traint wekelijks opnieuw.
Vertrouw niet op één bedrijfsmaatstaf. Shopify ontdekte dat het activeringspercentage het gedrag van winkeliers net zo goed weerspiegelt als de modelkwaliteit, en voegde een door experts gekalibreerde beoordelaar toe.
Kanttekeningen
- Alle cijfers komen uit Shopifys eigen engineeringbericht. Geen enkele onafhankelijke bron bevestigt ze.
- Het bericht noemt het vervangen frontiermodel niet en legt niet uit hoe snelheid en kosten zijn gemeten, dus 2,2 keer sneller en 68% goedkoper kunnen niet worden gecontroleerd.
- De berichtpagina toont alleen „Updated by colleagues on Apr 22, 2026” (vertaling: „Bijgewerkt door collega's op 22 apr. 2026”), geen aparte publicatiedatum, dus die datum is gebruikt als brondatum en als uitrooldatum (de aankondigingsdatum). Volgens het bericht draaide het systeem „six months ago” (vertaling: „zes maanden geleden”) op een frontiermodel, dus de werkelijke livegang was eerder en wordt niet genoemd.
- Het 35% lagere activeringspercentage was het eerste resultaat bij 1% van het verkeer. Het bericht zegt dat de verbeterlus de kloof in twee weken dichtte, maar geeft geen definitief activeringscijfer.
- „The majority of production traffic” (vertaling: „het grootste deel van het productieverkeer”) is niet gekwantificeerd.
- Trainingskosten en teamgrootte worden niet genoemd.
Bronnen
- Flow generation through natural language: An agentic modeling approach
Shopify Engineering · 2026-04-22 · Bedrijfsblog · shopify.engineering
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.