Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Spotify
Spotify stemt Llama af om aanbevelingen toe te lichten en commentaar voor zijn AI DJ te schrijven
Spotify gebruikt afgestemde versies van de Llama-modellen van Meta (met open gewichten) om korte uitleg te schrijven over waarom een nummer of maker wordt aanbevolen, en commentaar voor zijn AI DJ in het Engels en Spaans. Volgens Spotify klikten gebruikers in sommige onlinetests tot vier keer zo vaak op aanbevelingen met uitleg.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
Tot vier keer zo waarschijnlijk
Kans op een klik op een aanbeveling met uitleg, in sommige gevallen, vooral bij nichecontent1
Vier keer zo waarschijnlijk
Interactie met de content van een maker wanneer gebruikers te horen kregen waarom die werd aanbevolen (volgens Meta)2
Tot 14%
Winst op Spotify-specifieke taken door Llama aan te passen aan 10 taken, vergeleken met Llama zonder aanpassing1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
Luisteraars van Spotify kiezen wat ze afspelen op basis van hoezen en wat ze al kennen. Spotify wilde context toevoegen die werkt als de tip van een vriend, zodat mensen nieuwe artiesten, podcasts en luisterboeken proberen. Grote taalmodellen zag Spotify als een manier om dit soort persoonlijke vertelling op schaal te bieden.
Wat ze bouwden
Spotify gebruikte de Llama-modellen van Meta, waarvan de bestanden openlijk worden gepubliceerd zodat een bedrijf ze kan aanpassen, om twee dingen te schrijven. Het eerste is een korte uitleg over waarom een item wordt aanbevolen. Het tweede is gesproken commentaar voor de AI DJ, een persoonlijke gids die nummers kiest en erover praat, in het Engels en Spaans. Afstemmen betekent een model verder trainen op de eigen voorbeelden van een bedrijf, zodat het bij een specifieke taak past.
Hoe ze het aanpakten
Spotify probeerde Llama eerst met eenvoudige prompts en zag dat de uitvoer strakker gestuurd moest worden. Redacteuren met vakkennis schreven voorbeelden voor het model en bleven feedback geven op fouten in artiestennamen, toon en feiten. Het team voegde instructieafstemming, promptwerk en tests toe die slechte uitvoer proberen uit te lokken. Voor de DJ vergeleek Spotify externe en open modellen en zag dat afgestemde kleinere Llama-modellen commentaar leverden op het niveau van toonaangevende modellen, tegen lagere kosten en minder vertraging. Ook draaide het de modellen met de inferentie-engine vLLM. Los daarvan paste het Llama aan op 10 interne taken, nadat Llama 3.1 8B in tests concurrerend presteerde.
Resultaten
Spotify meldt dat gebruikers in onlinetests in sommige gevallen tot vier keer zo vaak klikten op een aanbeveling met uitleg, vooral bij nichecontent. Meta beschrijft het als gebruikers die vier keer zo waarschijnlijk interactie hadden met de content van een maker als hun werd verteld waarom die werd aanbevolen. De aanpassing van Llama aan de taken van Spotify verbeterde de resultaten met tot 14% ten opzichte van het standaardmodel, met weinig verlies aan algemene vaardigheid. Over de DJ zegt Spotify dat luisteraars vaker bereid waren nummers af te spelen die ze anders hadden overgeslagen.
Lessen voor uw project
Betrek vakexperts. De muziekredacteuren van Spotify leverden voorbeelden aan het model en bleven fouten in artiestennamen, toon en feiten corrigeren.
Test een klein afgestemd model tegen grotere. Spotify zag dat afgestemde kleinere Llama-modellen bij het DJ-commentaar gelijkwaardig waren aan topmodellen, tegen lagere kosten en minder vertraging.
Bescherm de algemene vaardigheid als u afstemt op uw eigen taken. Spotify volgde een algemene benchmark om te controleren dat het model zijn brede vaardigheden niet kwijt was.
Plan veiligheid en juistheid vóór de lancering. Spotify noemde consistentie van stijl, schadelijke uitvoer en verzonnen feiten als de belangrijkste risico's.
Kanttekeningen
- Alle cijfers komen uit de onderzoekspost van Spotify en uit de post van Meta die de resultaten van Spotify doorgeeft. Geen enkele onafhankelijke bron bevestigt ze.
- Het klikcijfer wordt beschreven als 'tot' en 'in sommige gevallen'. Geen van beide posts noemt de steekproefgrootte, de markten, de testduur of het cijfer voor gewone content.
- De winst van 14% hoort bij een aparte multitask-aanpassing van Llama aan 10 taken van Spotify, niet direct bij de uitleg of het DJ-commentaar. De posts vermelden niet welke Llama-grootte die aanpassing gebruikte.
- De post van Spotify noemt Llama 3.1 8B alleen in verband met dat multitaskwerk (als concurrerend in zero-shot-tests). Er staat niet bij welke Llama-versie de uitleg of het DJ-commentaar aandrijft.
- De AI DJ is volgens Spotify in 2023 gelanceerd, zonder maand. De getoonde datum van uitrol is de datum van de post.
- De post van Meta spreekt van interactie, die van Spotify van klikken. Beide formuleringen blijven staan zoals elke bron ze geeft.
Bronnen
- Contextualized Recommendations Through Personalized Narratives using LLMs
Spotify Research · 2024-12-18 · Bedrijfsblog · research.atspotify.com
- How Spotify is using Llama to create personalized recommendations and enhance content discovery
Meta AI · 2024-12-18 · Casestudy van leverancier · ai.meta.com
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.