Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Shopify
Shopify sostituisce un modello di frontiera con un agente Qwen3-32B affinato in Sidekick Flow
Shopify ha addestrato un proprio agente sul modello a pesi aperti Qwen3-32B per trasformare le richieste in inglese semplice dei commercianti in automazioni Shopify Flow all'interno del suo assistente Sidekick. Secondo Shopify è 2,2 volte più veloce e costa il 68% in meno del modello di frontiera che sostituisce, e ora gestisce la maggior parte del traffico di produzione.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
2,2
volte più veloce
Velocità dell'agente Flow affinato rispetto al modello di frontiera che sostituisce (modello di riferimento e metodo di misura non indicati)1
68%
in meno
Costo dell'agente Flow affinato rispetto al modello di frontiera che sostituisce (riferimento e metodo non indicati)1
35%
più basso
Tasso di attivazione dei workflow del modello affinato rispetto all'agente basato su prompt nel primo test sull'1% del traffico, prima dei miglioramenti successivi1
Cosa è servito
Il problema
Shopify Flow permette ai titolari di negozi di automatizzare attività, come etichettare gli ordini o inviare e-mail, costruendo workflow con trigger, condizioni e azioni. La maggior parte non è composta da ingegneri, e una tela bianca scoraggia. L'assistente IA di Shopify, Sidekick, scrive il workflow a partire da una richiesta in inglese semplice. Shopify lo eseguiva su un modello di frontiera che non controllava, e voleva un'alternativa più rapida ed economica da migliorare con i propri dati.
Cosa hanno costruito
Shopify ha affinato Qwen3-32B, un modello a pesi aperti (open-weight), cioè con i file pubblicati in modo che un'azienda possa adattarli ed eseguirli. Il risultato è un agente che chiama strumenti per cercare i blocchi di Flow, configurarli e assemblare il workflow. Shopify riferisce che funziona 2,2 volte più veloce con un costo inferiore del 68% rispetto al modello di frontiera che sostituisce, e afferma che supera i modelli chiusi. Ora gestisce la maggior parte del traffico di produzione per questa competenza.
Come ci sono riusciti
Prima del lancio non c'erano conversazioni reali da cui imparare. Il team è partito da workflow di commercianti realmente eseguiti e ha usato un modello più potente per scrivere una richiesta plausibile per ciascuno. Shopify dice che costruire, per ogni esempio, le sequenze passo-passo di chiamate agli strumenti è stata la parte più consistente dello sforzo di ingegneria.
Il formato nativo di Flow è difficile da scrivere in modo affidabile per un modello. Shopify ha mostrato al modello Python al suo posto e lo ha riconvertito con un traduttore testato su ogni workflow costruito tramite Sidekick. A parità di dati di addestramento, scrivere Python invece del formato nativo ha aumentato di 22 punti la quota di workflow privi di errori e di 13 punti quella dei workflow che fanno ciò che era stato richiesto.
L'addestramento gira su due nodi di processori grafici H200. Un ciclo completo richiede 12 ore, il che rende praticabile il riaddestramento settimanale. I test offline hanno raggiunto la parità con il vecchio agente, ma il primo test dal vivo sull'1% del traffico ha mostrato un tasso di attivazione inferiore del 35%. Il divario derivava da richieste assenti dai dati di addestramento, come la modifica di workflow esistenti e la configurazione delle e-mail. Shopify ha quindi avviato un ciclo settimanale: valutare le conversazioni di produzione con un giudice IA calibrato, aggiungere quelle buone all'addestramento, individuare le lacune, riaddestrare e ridistribuire.
Risultati
Shopify riferisce che l'agente affinato è 2,2 volte più veloce e costa il 68% in meno del modello di frontiera che sostituisce, e che ora gestisce la maggior parte del traffico di produzione. Dice che il ciclo di miglioramento ha colmato in due settimane il divario iniziale di attivazione. Lo stesso approccio viene ora applicato ad altre competenze di Sidekick.
Cosa replicare
Scegliere un compito ben definito e dimostrarlo su traffico reale, con una piccola quota, prima di passare. Pianificare un ciclo continuo di misura e riaddestramento, non una costruzione una tantum.
Lezioni per il vostro progetto
Testare presto su traffico reale. Il modello eguagliava il benchmark offline, ma un test dal vivo sull'1% del traffico ha mostrato un tasso di attivazione inferiore del 35%, perché i commercianti reali chiedevano cose che il set di test non prevedeva.
Partire da una competenza circoscritta con un compito chiaro di chiamata di strumenti. Shopify ha isolato una sola competenza, la generazione di Flow, invece di sostituire l'intero assistente.
Costruire un ciclo di feedback prima di averne bisogno. Shopify valuta le conversazioni di produzione con un giudice IA calibrato e riaddestra ogni settimana.
Non affidarsi a una sola metrica di business. Shopify ha scoperto che il tasso di attivazione riflette il comportamento dei commercianti oltre che la qualità del modello, e ha aggiunto un giudice calibrato da esperti.
Avvertenze
- Tutti i dati provengono dal post di ingegneria di Shopify stessa. Nessuna fonte indipendente li conferma.
- Il post non nomina il modello di frontiera sostituito e non spiega come siano stati misurati velocità e costo, quindi le cifre di 2,2 volte più veloce e 68% in meno non si possono verificare.
- La pagina del post riporta solo «Updated by colleagues on Apr 22, 2026» (traduzione: «Aggiornato da colleghi il 22 apr 2026»), non una data di pubblicazione separata, quindi quella data è usata come data della fonte e come data di rilascio (la data dell'annuncio). Il post dice che il sistema girava su un modello di frontiera «six months ago» (traduzione: «sei mesi fa»), quindi l'entrata in produzione effettiva è precedente e non è indicata.
- Il tasso di attivazione inferiore del 35% è stato il primo risultato sull'1% del traffico. Il post dice che il ciclo di miglioramento ha colmato il divario in due settimane, ma non dà un dato finale di attivazione.
- «The majority of production traffic» (traduzione: «la maggior parte del traffico di produzione») non è quantificata.
- Costo dell'addestramento e dimensione del team non sono indicati.
Fonti
- Flow generation through natural language: An agentic modeling approach
Shopify Engineering · 2026-04-22 · Blog aziendale · shopify.engineering
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.