Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Spotify
Spotify passt Llama per Feinabstimmung an, um Empfehlungen zu erklären und Kommentare für seinen KI-DJ zu schreiben
Spotify nutzt feinabgestimmte Versionen der Llama-Modelle von Meta (mit offenen Gewichten), um kurze Erklärungen zu schreiben, warum ein Titel oder ein Künstler empfohlen wird, sowie Kommentare für seinen KI-DJ auf Englisch und Spanisch. Laut Spotify klickten Nutzer in einigen Online-Tests bis zu viermal so häufig auf Empfehlungen mit Erklärung.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
Bis zu viermal so wahrscheinlich
Klickwahrscheinlichkeit bei einer Empfehlung mit Erklärung, in einigen Fällen, besonders bei Nischeninhalten1
Viermal so wahrscheinlich
Interaktion mit den Inhalten eines Künstlers, wenn Nutzer erfuhren, warum er empfohlen wurde (laut Meta)2
Bis zu 14 %
Verbesserung bei Spotify-spezifischen Aufgaben durch die Anpassung von Llama an 10 Aufgaben, verglichen mit Llama ohne Anpassung1
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Spotify-Hörer entscheiden anhand von Cover und Bekanntem, was sie abspielen. Spotify wollte Kontext hinzufügen, der wie der Tipp eines Freundes wirkt, damit Menschen neue Künstler, Podcasts und Hörbücher ausprobieren. Große Sprachmodelle sah Spotify als Möglichkeit, diese Art persönlicher Erzählung skalierbar zu machen.
Was sie gebaut haben
Spotify nutzte die Llama-Modelle von Meta, deren Dateien offen veröffentlicht sind, sodass ein Unternehmen sie anpassen kann, um zwei Dinge zu schreiben. Das erste ist eine kurze Erklärung, warum ein Inhalt empfohlen wird. Das zweite ist der gesprochene Kommentar für den KI-DJ, einen personalisierten Begleiter, der Songs auswählt und darüber spricht, auf Englisch und Spanisch. Feinabstimmung bedeutet, ein Modell mit den eigenen Beispielen eines Unternehmens weiterzutrainieren, damit es zu einer bestimmten Aufgabe passt.
Wie sie vorgegangen sind
Spotify probierte Llama zunächst mit einfachen Prompts aus und stellte fest, dass die Ausgabe straffer gesteuert werden musste. Redakteure mit Fachwissen schrieben Beispiele für das Modell und gaben laufend Rückmeldung zu Fehlern bei Künstlernamen, Tonalität und Fakten. Das Team ergänzte Instruktionstuning, Prompt-Arbeit und Tests, die schlechte Ausgaben gezielt provozieren. Für den DJ verglich Spotify externe und offene Modelle und stellte fest, dass feinabgestimmte kleinere Llama-Modelle Kommentare auf dem Niveau führender Modelle lieferten, bei geringeren Kosten und kürzerer Verzögerung. Außerdem betrieb es die Modelle mit der Inferenz-Engine vLLM. Davon getrennt passte es Llama an 10 interne Aufgaben an, nachdem Llama 3.1 8B in Tests konkurrenzfähig abgeschnitten hatte.
Ergebnisse
Spotify berichtet, dass Nutzer in Online-Tests in einigen Fällen bis zu viermal so häufig auf eine Empfehlung mit Erklärung klickten, vor allem bei Nischeninhalten. Der Beitrag von Meta beschreibt es so, dass Nutzer viermal so wahrscheinlich mit den Inhalten eines Künstlers interagierten, wenn ihnen gesagt wurde, warum er empfohlen wurde. Die Anpassung von Llama an die Aufgaben von Spotify verbesserte die Ergebnisse um bis zu 14 % gegenüber dem Standardmodell, bei geringem Verlust an allgemeinen Fähigkeiten. Für den DJ sagt Spotify, Hörer seien eher bereit gewesen, Songs abzuspielen, die sie sonst übersprungen hätten.
Erkenntnisse für Ihr Projekt
Binden Sie Fachleute ein. Die Musikredakteure von Spotify lieferten dem Modell Beispiele und korrigierten laufend Fehler bei Künstlernamen, Tonalität und Fakten.
Testen Sie ein kleines, feinabgestimmtes Modell gegen größere. Spotify stellte fest, dass feinabgestimmte kleinere Llama-Modelle bei den DJ-Kommentaren mit Spitzenmodellen mithielten und dabei Kosten und Verzögerung senkten.
Sichern Sie die allgemeinen Fähigkeiten, wenn Sie für eigene Aufgaben abstimmen. Spotify beobachtete einen allgemeinen Benchmark, um zu prüfen, dass das Modell seine breiten Fähigkeiten nicht verloren hatte.
Planen Sie Sicherheit und Genauigkeit vor dem Start ein. Spotify nannte Stilkonsistenz, schädliche Ausgaben und erfundene Fakten als Hauptrisiken.
Einschränkungen
- Alle Zahlen stammen aus dem Forschungsbeitrag von Spotify und aus dem Beitrag von Meta, der Spotifys Ergebnisse wiedergibt. Keine unabhängige Quelle bestätigt sie.
- Die Klickzahl wird als „bis zu“ und „in einigen Fällen“ beschrieben. Keiner der beiden Beiträge nennt Stichprobengröße, Märkte, Testdauer oder den Wert für typische Inhalte.
- Die 14 % Verbesserung betreffen eine getrennte Mehrfachaufgaben-Anpassung von Llama an 10 Spotify-Aufgaben, nicht direkt die Erklärungen oder die DJ-Kommentare. Die Beiträge nennen nicht, welche Llama-Größe diese Anpassung nutzte.
- Der Spotify-Beitrag nennt Llama 3.1 8B nur im Zusammenhang mit dieser Mehrfachaufgaben-Arbeit (als konkurrenzfähig in Zero-Shot-Tests). Er sagt nicht, welche Llama-Version die Erklärungen oder die DJ-Kommentare antreibt.
- Der KI-DJ startete laut Spotify 2023, ohne Monatsangabe. Das angegebene Einführungsdatum ist das Datum des Beitrags.
- Der Meta-Beitrag spricht von Interaktion, der Spotify-Beitrag von Klicks. Beide Formulierungen bleiben so erhalten, wie die jeweilige Quelle sie nennt.
Quellen
- Contextualized Recommendations Through Personalized Narratives using LLMs
Spotify Research · 2024-12-18 · Unternehmensblog · research.atspotify.com
- How Spotify is using Llama to create personalized recommendations and enhance content discovery
Meta AI · 2024-12-18 · Fallstudie des Anbieters · ai.meta.com
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.