Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Shopify
Shopify ersetzt ein Frontier-Modell in Sidekick Flow durch einen feinabgestimmten Qwen3-32B-Agenten
Shopify hat auf Basis des Open-Weight-Modells Qwen3-32B einen eigenen Agenten trainiert, der in seinem Assistenten Sidekick Anfragen von Händlern in einfachem Englisch in Shopify-Flow-Automatisierungen umsetzt. Laut Shopify ist er 2,2-mal schneller und 68 % günstiger als das Frontier-Modell, das er ersetzt, und bedient inzwischen den Großteil des Produktivverkehrs.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
2,2
-mal schneller
Geschwindigkeit des feinabgestimmten Flow-Agenten im Vergleich zum ersetzten Frontier-Modell (Vergleichsmodell und Messmethode nicht angegeben)1
68 %
günstiger
Kosten des feinabgestimmten Flow-Agenten im Vergleich zum ersetzten Frontier-Modell (Vergleichsbasis und Methode nicht angegeben)1
35 %
niedriger
Aktivierungsrate von Workflows beim feinabgestimmten Modell im Vergleich zum Prompt-basierten Agenten im ersten Test mit 1 % des Verkehrs, vor späteren Verbesserungen1
Was es erforderte
Das Problem
Mit Shopify Flow automatisieren Shop-Betreiber Aufgaben, etwa das Taggen von Bestellungen oder den Versand von E-Mails, indem sie Workflows aus Auslösern, Bedingungen und Aktionen zusammenstellen. Die meisten Shop-Betreiber sind keine Ingenieure, und eine leere Arbeitsfläche schreckt ab. Shopifys KI-Assistent Sidekick schreibt den Workflow aus einer Anfrage in einfachem Englisch. Shopify betrieb dies auf einem Frontier-Modell, das es nicht selbst kontrollierte, und wollte eine schnellere, günstigere Lösung, die sich mit eigenen Daten verbessern lässt.
Was sie gebaut haben
Shopify hat Qwen3-32B feinabgestimmt, ein Open-Weight-Modell (mit offenen Gewichten), dessen Dateien veröffentlicht sind, sodass ein Unternehmen es anpassen und betreiben kann. Das Ergebnis ist ein Agent, der Werkzeuge aufruft, um Flow-Bausteine zu suchen, zu konfigurieren und zum Workflow zusammenzusetzen. Laut Shopify läuft er 2,2-mal schneller bei 68 % niedrigeren Kosten als das ersetzte Frontier-Modell und übertrifft geschlossene Modelle. Er bearbeitet inzwischen den Großteil des Produktivverkehrs für diese Fähigkeit.
Wie sie vorgegangen sind
Vor dem Start gab es keine echten Gespräche, aus denen sich lernen ließ. Das Team ging von bestehenden Händler-Workflows aus, die tatsächlich gelaufen waren, und ließ ein stärkeres Modell zu jedem eine plausible Anfrage schreiben. Shopify zufolge war der Aufbau der schrittweisen Werkzeugaufruf-Abfolgen für jedes Beispiel der größte Teil des Entwicklungsaufwands.
Das native Flow-Format ist für ein Modell schwer zuverlässig zu schreiben. Shopify zeigte dem Modell stattdessen Python und wandelte es mit einem Übersetzer zurück, der an jedem über Sidekick erstellten Workflow getestet wurde. Bei gleichen Trainingsdaten steigerte das Schreiben von Python statt des nativen Formats den Anteil fehlerfreier Workflows um 22 Punkte und den Anteil der Workflows, die das Gewünschte tun, um 13 Punkte.
Das Training läuft auf zwei Knoten mit H200-Grafikprozessoren. Ein vollständiger Lauf dauert 12 Stunden, wodurch wöchentliches Neutrainieren praktikabel ist. Offline-Tests erreichten Gleichstand mit dem alten Agenten, doch der erste Live-Test mit 1 % des Verkehrs zeigte eine um 35 % niedrigere Aktivierungsrate. Die Lücke kam von Anfragen, die in den Trainingsdaten fehlten, etwa dem Bearbeiten bestehender Workflows und der E-Mail-Einrichtung. Daraufhin richtete Shopify eine wöchentliche Schleife ein: Produktivgespräche mit einem kalibrierten KI-Richter bewerten, die guten ins Training aufnehmen, Lücken finden, neu trainieren und erneut ausrollen.
Ergebnisse
Shopify berichtet, der feinabgestimmte Agent sei 2,2-mal schneller und 68 % günstiger als das ersetzte Frontier-Modell und bediene inzwischen den Großteil des Produktivverkehrs. Die Verbesserungsschleife habe die anfängliche Aktivierungslücke laut Shopify in zwei Wochen geschlossen. Derselbe Ansatz wird inzwischen auf weitere Sidekick-Fähigkeiten angewendet.
Was Sie übernehmen können
Wählen Sie eine klar umrissene Aufgabe und bewähren Sie sie mit einem kleinen Anteil des Live-Verkehrs, bevor Sie umstellen. Planen Sie einen fortlaufenden Zyklus aus Messen und Neutrainieren ein, nicht einen einmaligen Aufbau.
Erkenntnisse für Ihr Projekt
Testen Sie früh mit echtem Verkehr. Das Modell erreichte den Offline-Benchmark, doch ein Live-Test mit 1 % des Verkehrs zeigte eine um 35 % niedrigere Aktivierungsrate, weil echte Händler Dinge fragten, die der Testdatensatz nicht abdeckte.
Beginnen Sie mit einer eng umrissenen Fähigkeit und einer klaren Aufgabe zum Aufruf von Werkzeugen. Shopify hat eine einzelne Fähigkeit herausgelöst, die Flow-Erstellung, statt den ganzen Assistenten zu ersetzen.
Bauen Sie eine Feedbackschleife auf, bevor Sie sie brauchen. Shopify bewertet Produktivgespräche mit einem kalibrierten KI-Richter und trainiert wöchentlich neu.
Verlassen Sie sich nicht auf eine einzige Geschäftskennzahl. Shopify stellte fest, dass die Aktivierungsrate ebenso das Verhalten der Händler wie die Modellqualität widerspiegelt, und ergänzte einen von Fachleuten kalibrierten Richter.
Einschränkungen
- Alle Zahlen stammen aus Shopifys eigenem Engineering-Beitrag. Keine unabhängige Quelle bestätigt sie.
- Der Beitrag nennt das ersetzte Frontier-Modell nicht und erklärt nicht, wie Geschwindigkeit und Kosten gemessen wurden; die Angaben 2,2-mal schneller und 68 % günstiger lassen sich daher nicht überprüfen.
- Die Beitragsseite zeigt nur „Updated by colleagues on Apr 22, 2026“ (Übersetzung: „Von Kolleginnen und Kollegen am 22. Apr. 2026 aktualisiert“), kein eigenes Veröffentlichungsdatum; dieses Datum dient daher als Quellendatum und als Einführungsdatum (das Ankündigungsdatum). Laut Beitrag lief das System „six months ago“ (Übersetzung: „vor sechs Monaten“) auf einem Frontier-Modell, der tatsächliche Produktivstart lag also früher und wird nicht genannt.
- Die um 35 % niedrigere Aktivierungsrate war das erste Ergebnis bei 1 % des Verkehrs. Der Beitrag sagt, die Verbesserungsschleife habe die Lücke in zwei Wochen geschlossen, nennt aber keine endgültige Aktivierungsrate.
- „The majority of production traffic“ (Übersetzung: „der Großteil des Produktivverkehrs“) wird nicht beziffert.
- Trainingskosten und Teamgröße werden nicht genannt.
Quellen
- Flow generation through natural language: An agentic modeling approach
Shopify Engineering · 2026-04-22 · Unternehmensblog · shopify.engineering
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.