Shopify remplace un modèle de pointe par un agent Qwen3-32B affiné dans Sidekick Flow

Le problème

Shopify Flow permet aux propriétaires de boutiques d’automatiser des tâches, comme étiqueter des commandes ou envoyer des e-mails, en construisant des workflows à partir de déclencheurs, de conditions et d’actions. La plupart ne sont pas ingénieurs, et une page blanche est intimidante. L’assistant IA de Shopify, Sidekick, rédige le workflow à partir d’une demande en langage courant. Shopify faisait tourner cette fonction sur un modèle de pointe qu’il ne maîtrisait pas, et voulait une option plus rapide et moins chère qu’il pourrait améliorer avec ses propres données.

Ce qu’ils ont construit

Shopify a affiné Qwen3-32B, un modèle à poids ouverts (open-weight), c’est-à-dire dont les fichiers sont publiés afin qu’une entreprise puisse les adapter et les exécuter. Le résultat est un agent qui appelle des outils pour rechercher les briques de Flow, les configurer et assembler le workflow. Shopify indique qu’il fonctionne 2,2 fois plus vite pour un coût inférieur de 68 % à celui du modèle de pointe qu’il remplace, et affirme qu’il surpasse les modèles fermés. Il traite désormais l’essentiel du trafic de production pour cette compétence.

Comment ils s’y sont pris

Avant le lancement, il n’existait aucune conversation réelle dont s’inspirer. L’équipe est partie de workflows de marchands qui avaient réellement tourné, et a demandé à un modèle plus puissant de rédiger une demande plausible pour chacun. Shopify indique que la construction, pour chaque exemple, des séquences d’appels d’outils étape par étape a représenté l’essentiel de l’effort d’ingénierie.

Le format natif de Flow est difficile à écrire de façon fiable pour un modèle. Shopify a montré au modèle du Python à la place, puis l’a reconverti avec un traducteur testé sur chaque workflow construit via Sidekick. À données d’entraînement identiques, écrire du Python plutôt que le format natif a fait progresser de 22 points la part des workflows sans erreur et de 13 points la part de ceux qui font ce qui était demandé.

L’entraînement s’exécute sur deux nœuds de processeurs graphiques H200. Un entraînement complet dure 12 heures, ce qui rend le réentraînement hebdomadaire réaliste. Les tests hors ligne ont atteint la parité avec l’ancien agent, mais le premier test en conditions réelles sur 1 % du trafic a montré un taux d’activation inférieur de 35 %. L’écart venait de demandes absentes des données d’entraînement, comme la modification de workflows existants et la configuration des e-mails. Shopify a ensuite mis en place une boucle hebdomadaire : noter les conversations de production avec un juge IA calibré, ajouter les bonnes à l’entraînement, repérer les lacunes, réentraîner et redéployer.

Résultats

Shopify indique que l’agent affiné est 2,2 fois plus rapide et 68 % moins cher que le modèle de pointe qu’il remplace, et qu’il traite désormais l’essentiel du trafic de production. Il affirme que la boucle d’amélioration a comblé l’écart d’activation initial en deux semaines. La même approche est maintenant appliquée à d’autres compétences de Sidekick.

Ce qu’il faut retenir

Choisissez une tâche bien définie et validez-la sur du trafic réel, sur une petite part, avant de basculer. Prévoyez un cycle continu de mesure et de réentraînement, et non une construction unique.