Spotify affine Llama pour expliquer ses recommandations et écrire les commentaires de son DJ IA

Le problème

Les auditeurs de Spotify choisissent ce qu’ils écoutent d’après les pochettes et ce qu’ils connaissent déjà. Spotify voulait ajouter du contexte, à la manière du conseil d’un ami, pour que les gens essaient de nouveaux artistes, podcasts et livres audio. L’entreprise voyait dans les grands modèles de langage un moyen de généraliser ce type de récit personnel.

Ce qu’ils ont construit

Spotify a utilisé les modèles Llama de Meta, dont les fichiers sont publiés ouvertement afin qu’une entreprise puisse les adapter, pour écrire deux types de contenu. Le premier est une courte explication de la raison pour laquelle un élément est recommandé. Le second est le commentaire parlé de son DJ IA, un guide personnalisé qui choisit des morceaux et en parle, en anglais et en espagnol. L’affinage consiste à poursuivre l’entraînement d’un modèle sur les propres exemples d’une entreprise pour l’adapter à une tâche précise.

Comment ils s’y sont pris

Spotify a d’abord essayé Llama avec de simples consignes et constaté que les résultats demandaient un meilleur contrôle. Des éditeurs experts ont rédigé des exemples pour le modèle et n’ont cessé de signaler les erreurs sur les noms d’artistes, le ton et les faits. L’équipe a ajouté un réglage par instructions, un travail sur les consignes et des tests visant à provoquer de mauvaises réponses. Pour le DJ, Spotify a comparé des modèles externes et ouverts, et constaté que de petits modèles Llama affinés produisaient des commentaires de qualité comparable à celle des meilleurs modèles, à moindre coût et avec moins de latence. Elle a aussi servi les modèles avec le moteur d’inférence vLLM. Par ailleurs, après les résultats compétitifs de Llama 3.1 8B lors de tests, elle a adapté Llama à 10 tâches internes.

Résultats

Spotify indique que, lors de tests en ligne, les utilisateurs cliquaient dans certains cas jusqu’à quatre fois plus souvent sur une recommandation accompagnée d’une explication, surtout pour les contenus de niche. L’article de Meta décrit cela comme des utilisateurs quatre fois plus enclins à interagir avec le contenu d’un créateur lorsqu’on leur dit pourquoi il est recommandé. L’adaptation de Llama aux tâches de Spotify a amélioré les résultats jusqu’à 14 % par rapport au modèle d’origine, avec peu de perte de capacités générales. Pour le DJ, Spotify affirme que les auditeurs étaient plus disposés à écouter des morceaux qu’ils auraient autrement passés.