Traduit de l’original anglais. Les chiffres et les sources sont inchangés. Lire l’original en anglais
Meta
Meta améliore ses personnages IA sur Instagram, WhatsApp et Messenger en 15 versions du modèle Llama 3.1
Les auteurs de Meta décrivent comment ils ont réentraîné 15 fois un modèle de conversation Llama 3.1 70B pour des personnages IA que les utilisateurs créent et avec lesquels ils discutent sur Instagram, WhatsApp et Messenger. Ils indiquent que les meilleures nouvelles versions ont accru l’engagement lors de tests de 7 jours, et que les personnages enfreignaient beaucoup moins souvent leurs instructions.
Chiffres clés
Repris tels quels des sources. Copiez n’importe quel chiffre avec sa citation.
jusqu’à 8,8 %
Meilleur gain d’engagement en largeur (nombre d’utilisateurs qui s’engagent) lors d’un test A/B de 7 jours d’une nouvelle version déployée du modèle, issu de la version 14 du tableau en annexe de l’article1
19,4 %
Meilleur gain d’engagement en profondeur (intensité de l’engagement de chaque utilisateur) lors d’un test A/B de 7 jours d’une nouvelle version déployée du modèle, issu de la version 13 du tableau en annexe de l’article1
26,6 %
à 5,8 %
Taux auquel les personnages enfreignaient leurs instructions, jugé par un évaluateur IA sur des tests de conversation internes, de la version 2 à la version 81
59,2 %
à 84,8 %
Score sur IFEval, un benchmark public de respect des instructions, de la version 2 (avant le lancement) à la version 71
Ce que cela a demandé
Le problème
Meta permet aux utilisateurs de créer des personnages IA et de discuter avec eux dans Instagram, Messenger, WhatsApp et sur le web. Contrairement à un assistant professionnel, il n’y a pas de bonne réponse à vérifier. Le succès, c’est que les gens aient envie de continuer à discuter, ce qui est difficile à mesurer et facile à mal interpréter. Meta voulait une méthode reproductible pour rendre le modèle de conversation plus engageant tout en le gardant fidèle à son personnage et sûr.
Ce qu’ils ont construit
L’équipe de Meta est partie de Llama 3.1, sa propre famille de modèles à poids ouverts (à poids ouverts signifie que les fichiers du modèle sont publiés). Elle a construit une boucle baptisée CharacterFlywheel. Chaque cycle collecte de vraies données de conversation, entraîne un modèle de score pour prédire ce que les gens apprécient, puis réentraîne le modèle de conversation par rapport à ce score. Des évaluateurs humains formés, et pas seulement les clics des utilisateurs, ont été la principale source du signal de préférence. Seule la taille 70B a été exploitée en production.
Comment ils s’y sont pris
Meta a produit 15 versions entre janvier 2024 et avril 2025. Les sept premières ont été testées en interne avant le lancement public du 29 juillet 2024, et les huit suivantes ont été mises à disposition des utilisateurs. Chaque version a été comparée à la précédente lors d’un test randomisé de 7 jours auprès de vrais utilisateurs. L’équipe a aussi vérifié la sécurité, le respect des instructions et les benchmarks publics à chaque étape.
Résultats
Les auteurs indiquent que 7 des 8 modèles nouvellement déployés ont montré un effet positif par rapport à la référence. Lors des tests de 7 jours, le meilleur résultat en largeur d’engagement a atteint jusqu’à 8,8 % et le meilleur en profondeur 19,4 %, à partir de deux versions différentes. La part des violations d’instructions dans les conversations avec les personnages est passée de 26,6 % à 5,8 %, et le score IFEval de 59,2 % à 84,8 % avant le lancement. L’engagement a progressé régulièrement pendant neuf mois après le lancement.
Ce qui a mal tourné
La version 12 a trop optimisé par rapport au modèle de score, qui la notait très bien, alors que l’engagement réel baissait, avec +0,05 % en largeur et -2,9 % en profondeur. Meta en a tiré que le score doit rester sous un plafond et a appliqué cette règle aux versions suivantes.
Ce qu’il faut retenir
Traitez un modèle destiné à un produit ouvert comme quelque chose qu’on améliore par petites étapes testées. Gardez le groupe témoin, fixez des limites à tout score que le modèle est entraîné à poursuivre, et conservez une trace des versions qui ont échoué.
Tous les chiffres publiés
| Indicateur | Chiffre | Citation |
|---|---|---|
| Meilleur gain d’engagement en largeur (nombre d’utilisateurs qui s’engagent) lors d’un test A/B de 7 jours d’une nouvelle version déployée du modèle, issu de la version 14 du tableau en annexe de l’article | jusqu’à 8,8 %1 | |
| Meilleur gain d’engagement en profondeur (intensité de l’engagement de chaque utilisateur) lors d’un test A/B de 7 jours d’une nouvelle version déployée du modèle, issu de la version 13 du tableau en annexe de l’article | 19,4 %1 | |
| Taux auquel les personnages enfreignaient leurs instructions, jugé par un évaluateur IA sur des tests de conversation internes, de la version 2 à la version 8 | 26,6 % à 5,8 %1 | |
| Score sur IFEval, un benchmark public de respect des instructions, de la version 2 (avant le lancement) à la version 7 | 59,2 % à 84,8 %1 | |
| Effet sur l’engagement de la version 12, le revers causé par une optimisation excessive par rapport au modèle de récompense | +0,05 % en largeur et -2,9 % en profondeur1 |
Enseignements pour votre projet
Testez chaque mise à jour du modèle auprès de vrais utilisateurs, avec un groupe témoin. Meta a mené des tests A/B randomisés de 7 jours pour chaque nouvelle version plutôt que de se fier aux scores hors ligne.
Ne laissez pas indéfiniment un modèle de score noter son propre travail. La version 12 obtenait de très bons scores auprès du modèle de récompense et a pourtant perdu en engagement ; Meta a donc fixé un plafond à ce score pour les versions suivantes.
Continuez de vérifier les capacités générales pendant que vous optimisez un objectif précis. Meta a suivi des benchmarks publics pour s’assurer que l’optimisation de l’engagement n’abîmait pas les compétences de base du modèle.
Prévoyez que certaines versions échoueront. Meta signale au moins un net revers parmi huit versions postérieures au lancement et l’a traité comme une source de règles pour les suivantes.
Réserves
- Tous les résultats sont communiqués par les auteurs de Meta dans un rapport de recherche. Les affiliations indiquées sont Meta Superintelligence Labs et FAIR at Meta (deux auteurs indiquent désormais OpenAI et xAI, en précisant que le travail a été réalisé chez Meta). Aucun tiers n’a confirmé les chiffres.
- Le gain en largeur jusqu’à 8,8 % (version 14) et le gain en profondeur de 19,4 % (version 13) proviennent de versions différentes, d’après le tableau en annexe de l’article ; aucun modèle unique n’a donc produit les deux. L’affirmation du rapport selon laquelle 7 modèles sur 8 ont montré un effet positif est vraie pour chaque mesure prise séparément, mais le tableau montre pour chacune une autre version au résultat négatif : la version 8 en largeur et la version 12 en profondeur.
- Le chiffre de 59,2 % à 84,8 % est le score au benchmark IFEval pour les versions 2 à 7 d’avant le lancement, un test général, et non une mesure sur les personnages Meta en production.
- Une phrase du texte du rapport situe la version 2 à environ 75 % au lieu de 59,2 % ; ce cas suit le résumé et le tableau. Le chiffre de 26,6 % à 5,8 % provient de testeurs internes et d’experts, avec un évaluateur IA, et non d’utilisateurs.
- Le rapport donne deux périodes : un développement de janvier 2024 à septembre 2025 dans l’introduction, et jusqu’en avril 2025 dans le résumé, les résultats et la conclusion. Ce cas retient avril 2025.
- Il s’agit d’un produit grand public de Meta construit sur son propre modèle, et non du déploiement d’une entreprise cliente. Il est retenu pour sa méthode documentée d’amélioration d’un modèle en production par des tests en conditions réelles.
- Le rapport ne donne ni coût ni taille d’équipe, et les sources n’indiquent pas quelle part des utilisateurs voit les personnages. La date de l’article est celle imprimée sur le document (2 mars 2026 sur arXiv, 3 mars 2026 sur l’article lui-même).
Sources
- CharacterFlywheel: Scaling Iterative Improvement of Engaging and Steerable LLMs in Production
arXiv (Meta Superintelligence Labs and FAIR at Meta) · 2026-03-02 · Article de recherche · arxiv.org
Résumé dans nos propres mots à partir des sources ci-dessus. Une erreur ? Consultez les corrections.