Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Meta
Meta verbetert zijn AI-personages in Instagram, WhatsApp en Messenger over 15 versies van het model Llama 3.1
De auteurs van Meta beschrijven hoe ze een Llama 3.1 70B-chatmodel 15 keer opnieuw trainden voor AI-personages die gebruikers maken en waarmee ze chatten in Instagram, WhatsApp en Messenger. Ze melden dat de beste nieuwe versies de betrokkenheid verhoogden in tests van 7 dagen en dat personages hun instructies veel minder vaak overtraden.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
tot 8,8%
Beste winst in breedte van betrokkenheid (hoeveel gebruikers reageren) in een A/B-test van 7 dagen van een nieuw uitgerolde modelversie, uit versie 14 van de tabel in de bijlage van het paper1
19,4%
Beste winst in diepte van betrokkenheid (hoeveel elke gebruiker reageert) in een A/B-test van 7 dagen van een nieuw uitgerolde modelversie, uit versie 13 van de tabel in de bijlage van het paper1
26,6%
naar 5,8%
Percentage waarbij personages hun instructies overtraden, beoordeeld door een AI-beoordelaar bij interne chattests, van versie 2 tot versie 81
59,2%
naar 84,8%
Score op IFEval, een openbare benchmark voor het opvolgen van instructies, van versie 2 (voor de lancering) tot versie 71
Wat het kostte
Het probleem
Meta laat mensen AI-personages maken en ermee chatten in Instagram, Messenger, WhatsApp en op het web. Anders dan bij een werkassistent is er geen juist antwoord om te controleren. Succes betekent dat mensen willen blijven chatten, en dat is moeilijk te meten en gemakkelijk verkeerd te lezen. Meta wilde een herhaalbare manier om het chatmodel boeiender te maken en het tegelijk in zijn rol en veilig te houden.
Wat ze bouwden
Metas team begon bij Llama 3.1, zijn eigen modelfamilie met open gewichten (open gewichten betekent dat de modelbestanden zijn gepubliceerd). Het bouwde een lus die het CharacterFlywheel noemt. Elke ronde verzamelt echte chatdata, traint een scoremodel om te voorspellen wat mensen leuk vinden, en traint daarna het chatmodel opnieuw op die score. Getrainde menselijke beoordelaars, niet alleen klikken van gebruikers, vormden de belangrijkste bron van het voorkeursignaal. Alleen het formaat 70B draaide in productie.
Hoe ze het aanpakten
Meta maakte tussen januari 2024 en april 2025 15 versies. De eerste zeven werden intern getest voor de openbare lancering op 29 juli 2024, en de volgende acht werden aan gebruikers vrijgegeven. Elke release werd in een gerandomiseerde test van 7 dagen met echte gebruikers vergeleken met de vorige. Het team controleerde bij elke stap ook de veiligheid, het opvolgen van instructies en openbare benchmarks.
Resultaten
De auteurs melden dat 7 van de 8 nieuw uitgerolde modellen een positief effect ten opzichte van de basislijn lieten zien. In de tests van 7 dagen was het beste resultaat voor de breedte van betrokkenheid tot 8,8% en het beste voor de diepte 19,4%, uit twee verschillende versies. Het aandeel instructieovertredingen in chats met personages daalde van 26,6% naar 5,8%, en de IFEval-score steeg voor de lancering van 59,2% naar 84,8%. De betrokkenheid groeide na de lancering negen maanden gestaag.
Wat er misging
Versie 12 optimaliseerde te sterk op het scoremodel, dat haar hoog waardeerde, terwijl de echte betrokkenheid daalde, met +0,05% in breedte en -2,9% in diepte. Meta leerde dat de score onder een plafond moet blijven en paste die regel toe op latere versies.
Wat u kunt overnemen
Behandel een model voor een open-einde product als iets dat u in kleine, geteste stappen verbetert. Houd de controlegroep, stel grenzen aan elke score waarop het model wordt getraind en houd een logboek bij van mislukte versies.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Beste winst in breedte van betrokkenheid (hoeveel gebruikers reageren) in een A/B-test van 7 dagen van een nieuw uitgerolde modelversie, uit versie 14 van de tabel in de bijlage van het paper | tot 8,8%1 | |
| Beste winst in diepte van betrokkenheid (hoeveel elke gebruiker reageert) in een A/B-test van 7 dagen van een nieuw uitgerolde modelversie, uit versie 13 van de tabel in de bijlage van het paper | 19,4%1 | |
| Percentage waarbij personages hun instructies overtraden, beoordeeld door een AI-beoordelaar bij interne chattests, van versie 2 tot versie 8 | 26,6% naar 5,8%1 | |
| Score op IFEval, een openbare benchmark voor het opvolgen van instructies, van versie 2 (voor de lancering) tot versie 7 | 59,2% naar 84,8%1 | |
| Effect op de betrokkenheid van versie 12, de tegenslag door overoptimalisatie op het beloningsmodel | +0,05% in breedte en -2,9% in diepte1 |
Lessen voor uw project
Test elke modelupdate met echte gebruikers tegen een controlegroep. Meta voerde voor elke nieuwe versie gerandomiseerde A/B-tests van 7 dagen uit in plaats van op offline scores te vertrouwen.
Laat een scoremodel zijn eigen huiswerk niet eeuwig nakijken. Versie 12 scoorde erg goed op het beloningsmodel en verloor toch betrokkenheid, dus stelde Meta voor latere versies een plafond voor die score in.
Blijf de algemene vaardigheid controleren terwijl u op één doel afstemt. Meta volgde openbare benchmarks om te bevestigen dat afstemmen op betrokkenheid de basisvaardigheden van het model niet schaadde.
Reken erop dat sommige versies mislukken. Meta meldt minstens één duidelijke tegenslag bij acht versies na de lancering en behandelde die als bron van regels voor de volgende.
Kanttekeningen
- Alle resultaten worden gemeld door Metas eigen auteurs in een onderzoeksrapport. De vermelde affiliaties zijn Meta Superintelligence Labs en FAIR at Meta (twee auteurs vermelden nu OpenAI en xAI, met de opmerking dat het werk bij Meta is gedaan). Geen externe partij heeft de cijfers bevestigd.
- De winst in breedte van tot 8,8% (versie 14) en de winst in diepte van 19,4% (versie 13) komen volgens de tabel in de bijlage van het paper uit verschillende versies, dus geen enkel model leverde beide. De bewering van het rapport dat 7 van de 8 modellen een positief effect lieten zien, geldt voor elke maat afzonderlijk, maar de tabel toont voor elk een andere versie met een negatief resultaat: versie 8 bij breedte en versie 12 bij diepte.
- Het cijfer van 59,2% naar 84,8% is de IFEval-benchmarkscore over de versies 2 tot 7 voor de lancering, een algemene test, geen meting op live personages van Meta.
- Een zin in de tekst van het rapport zet versie 2 op ongeveer 75% in plaats van 59,2%; dit geval volgt de samenvatting en de tabel. Het cijfer van 26,6% naar 5,8% komt van interne testers en experts met een AI-beoordelaar, niet van gebruikers.
- Het rapport noemt twee periodes: ontwikkeling van januari 2024 tot september 2025 in de inleiding, en tot april 2025 in de samenvatting, de resultaten en de conclusie. Dit geval gebruikt april 2025.
- Dit is een consumentenproduct dat Meta op zijn eigen model bouwde, geen implementatie bij een zakelijke klant. Het is opgenomen vanwege de gedocumenteerde methode om een productiemodel te verbeteren met live tests.
- Het rapport noemt geen kosten of teamgrootte, en de bronnen zeggen niet welk deel van de gebruikers de personages ziet. De datum van het paper is de datum die op het paper staat gedrukt (2 maart 2026 op arXiv, 3 maart 2026 op het paper zelf).
Bronnen
- CharacterFlywheel: Scaling Iterative Improvement of Engaging and Steerable LLMs in Production
arXiv (Meta Superintelligence Labs and FAIR at Meta) · 2026-03-02 · Onderzoeksrapport · arxiv.org
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.