Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Zalando
Zalando bouwt zijn modeassistent opnieuw op GPT-4o mini en brengt hem naar 25 markten
Zalando, een Europese online modeverkoper, heeft een conversationele Assistent die shoppers helpt kleding te vinden. Na de overstap van GPT-3.5 naar GPT-4o mini meldt OpenAI 23% meer klikken op producten en meer dan 40% meer toevoegingen aan verlanglijstjes dan bij de vorige versie.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
23%
Stijging van het aantal productklikken ten opzichte van de vorige versie van de Assistent1
40%
+
Stijging van het aantal producten dat aan het verlanglijstje is toegevoegd ten opzichte van de vorige versie1
5%
Daling van het aantal aanbevelingen dat gebruikers als niet nuttig beoordeelden na de overstap naar GPT-4o mini1
12
keer
Groei van het verkeer van de Assistent na de overstap van GPT-3.5 naar GPT-4o mini, bereikt zonder aanzienlijk meer uit te geven1
Wat het kostte
Het probleem
Zalando verkoopt een zeer groot assortiment mode. Shoppers kennen vaak de gelegenheid, zoals een bruiloft of een seizoen, maar niet de productnaam. Zalando wilde dat mensen in eigen woorden beschrijven wat ze nodig hebben en nuttige suggesties krijgen. Toen het bedrijf het idee naar veel landen uitbreidde, bleek de eerste versie beperkt. Die draaide op GPT-3.5, dat gedetailleerde instructies slecht opvolgde en generieke antwoorden gaf op vragen over evenementen en seizoenen.
Wat ze bouwden
De Zalando Assistent is een chatfunctie in de app en op de website. Een klant stelt een vraag in alledaagse taal en krijgt een geschreven antwoord plus passende producten, en kan het verzoek verder verfijnen. Zalando kondigde in april 2023 een eerste bètaversie aan voor geselecteerde klanten in Duitsland, Ierland, het Verenigd Koninkrijk en Oostenrijk, in het Engels en Duits. Volgens OpenAI werd de eerste versie gelanceerd in vier Duits- en Engelstalige markten.
De verbeterde versie draait op GPT-4o mini, een kleiner en goedkoper model van OpenAI. Hij werkt in meer dan 20 talen en is volgens OpenAI beschikbaar in alle 25 markten van Zalando.
Hoe ze het aanpakten
Zalando en OpenAI verbeterden eerst hoe de Assistent wordt getest. Het team zette aparte controles op voor afzonderlijke onderdelen van het systeem, zoals de stap die een verzoek doorstuurt en de stap die het antwoord schrijft. Ook verbeterde het de uitgewerkte voorbeelden waarmee een beoordelend model leert wat een goed of slecht antwoord is.
Daarna zette het team de Assistent over van GPT-3.5 naar GPT-4o mini. Binnen twee weken verplaatste het de helft van het verkeer naar het nieuwe model en de rest kort daarna. Volgens OpenAI opende de overstap nieuwe talen, zoals Frans en Spaans, en verlaagde hij vertraging en bedrijfskosten.
Resultaten
OpenAI meldt dat ten opzichte van de vorige versie de productklikken in de aanbevelingscarrousel met 23% stegen en de toevoegingen aan het verlanglijstje met meer dan 40%. Aanbevelingen die gebruikers als niet nuttig beoordeelden, daalden met 5%. OpenAI zegt ook dat Zalando het verkeer van de Assistent 12 keer liet groeien door markten toe te voegen, zonder aanzienlijk meer uit te geven.
Al deze cijfers zijn door de leverancier gemeld en komen zonder absolute aantallen. Zalando zegt meer conversationele functies te plannen, zoals het beantwoorden van gedetailleerde vragen over cadeaus en familiegelegenheden.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Stijging van het aantal productklikken ten opzichte van de vorige versie van de Assistent | 23%1 | |
| Stijging van het aantal producten dat aan het verlanglijstje is toegevoegd ten opzichte van de vorige versie | 40%+1 | |
| Daling van het aantal aanbevelingen dat gebruikers als niet nuttig beoordeelden na de overstap naar GPT-4o mini | 5%1 | |
| Groei van het verkeer van de Assistent na de overstap van GPT-3.5 naar GPT-4o mini, bereikt zonder aanzienlijk meer uit te geven | 12 keer1 | |
| Markten waar de Assistent beschikbaar is | 251 |
Lessen voor uw project
Zorg eerst voor goede metingen voordat u het model wijzigt. Zalando bouwde eerst tests voor elk onderdeel van het systeem, zoals routering en het schrijven van antwoorden, zodat het een upgrade op basis van bewijs kon beoordelen.
Schakel het verkeer stapsgewijs om. Zalando verplaatste binnen twee weken de helft van het verkeer van de Assistent naar het nieuwe model en rondde de overstap kort daarna af.
Kies het model voor de taak. Zalando had 20 of meer talen en betrouwbaar opvolgen van instructies nodig en verving daarom een model dat generieke antwoorden gaf op vragen over evenementen en seizoenen.
Volg gedrag, niet alleen tevredenheid. Klikken en toevoegingen aan het verlanglijstje laten zien of aanbevelingen shoppers tot actie aanzetten.
Kanttekeningen
- De cijfers komen uit het klantverhaal van OpenAI en zijn dus door de leverancier gemeld. Zalando's eigen bericht uit 2023 bevat ze niet.
- De pagina van OpenAI heeft geen datum. De tekst noemt op één plek een stijging van 40%+ in toevoegingen aan het verlanglijstje en op een andere plek 41%. Wij gebruiken het ronder genoemde kopcijfer.
- De vergelijking is met de vorige versie van de Assistent. De bronnen geven geen absolute aantallen, testopzet of periode.
- De getoonde uitrolmaand is de maand van Zalando's aankondiging in april 2023 van de eerste bètaversie, die in het voorjaar gepland was voor een beperkte groep klanten. De bronnen geven niet de exacte livegangdatum van de eerste versie of van de uitrol naar 25 markten.
- Het verhaal zegt dat de overstap naar GPT-4o mini de latentie en bedrijfskosten verlaagde, maar geeft geen kostencijfer.
Bronnen
- Zalando boosts the customer experience with its Assistant, powered by GPT-4o mini
OpenAI · Zonder datum · Casestudy van leverancier · openai.com
- Zalando to launch a fashion assistant powered by ChatGPT
Zalando · 2023-04-19 · Persbericht · corporate.zalando.com
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.