Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Meta
Meta verbessert seine KI-Charaktere in Instagram, WhatsApp und Messenger über 15 Versionen des Modells Llama 3.1
Metas Autoren beschreiben, wie sie ein Llama-3.1-70B-Chatmodell 15-mal nachtrainierten, für KI-Charaktere, die Nutzer in Instagram, WhatsApp und Messenger selbst erstellen und mit denen sie chatten. Sie berichten, dass die besten neuen Versionen in 7-Tage-Tests die Interaktion steigerten und dass Charaktere ihre Anweisungen deutlich seltener verletzten.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
bis zu 8,8 %
Bester Zuwachs bei der Interaktionsbreite (wie viele Nutzer interagieren) in einem 7-Tage-A/B-Test einer neu eingesetzten Modellversion, aus Version 14 der Tabelle im Anhang des Papiers1
19,4 %
Bester Zuwachs bei der Interaktionstiefe (wie stark jeder Nutzer interagiert) in einem 7-Tage-A/B-Test einer neu eingesetzten Modellversion, aus Version 13 der Tabelle im Anhang des Papiers1
26,6 %
auf 5,8 %
Rate, mit der Charaktere ihre Anweisungen verletzten, beurteilt von einem KI-Prüfer in internen Chat-Tests, von Version 2 bis Version 81
59,2 %
auf 84,8 %
Wert im IFEval, einem öffentlichen Benchmark zum Befolgen von Anweisungen, von Version 2 (vor dem Start) bis Version 71
Was es erforderte
Das Problem
Meta lässt Menschen in Instagram, Messenger, WhatsApp und im Web KI-Charaktere erstellen und mit ihnen chatten. Anders als bei einem Arbeitsassistenten gibt es keine richtige Antwort, die man prüfen könnte. Erfolg heißt, dass Menschen weiterchatten wollen, und das ist schwer zu messen und leicht falsch zu deuten. Meta wollte einen wiederholbaren Weg, das Chatmodell interaktiver zu machen und es dabei in der Rolle und sicher zu halten.
Was sie gebaut haben
Metas Team ging von Llama 3.1 aus, seiner eigenen Modellfamilie mit offenen Gewichten (mit offenen Gewichten heißt: Die Modelldateien sind veröffentlicht). Es baute einen Kreislauf namens CharacterFlywheel. Jede Runde sammelt echte Chatdaten, trainiert ein Bewertungsmodell, das vorhersagt, was Menschen mögen, und trainiert dann das Chatmodell auf diesen Wert nach. Geschulte menschliche Bewerter, nicht nur Nutzerklicks, waren die wichtigste Quelle des Präferenzsignals. Im Produktivbetrieb lief nur die Größe 70B.
Wie sie vorgegangen sind
Meta erstellte zwischen Januar 2024 und April 2025 15 Versionen. Die ersten sieben wurden vor dem öffentlichen Start am 29. Juli 2024 intern getestet, die nächsten acht wurden für Nutzer freigegeben. Jede Version wurde in einem randomisierten 7-Tage-Test mit echten Nutzern gegen die vorherige geprüft. Das Team kontrollierte bei jedem Schritt außerdem Sicherheit, Befolgen von Anweisungen und öffentliche Benchmarks.
Ergebnisse
Die Autoren berichten, dass 7 von 8 neu eingesetzten Modellen einen positiven Effekt gegenüber der Ausgangsbasis zeigten. In den 7-Tage-Tests lag das beste Ergebnis bei der Interaktionsbreite bei bis zu 8,8 % und das beste bei der Tiefe bei 19,4 %, aus zwei verschiedenen Versionen. Der Anteil der Anweisungsverstöße in Charakter-Chats sank von 26,6 % auf 5,8 %, und der IFEval-Wert stieg vor dem Start von 59,2 % auf 84,8 %. Die Interaktion wuchs nach dem Start neun Monate lang stetig.
Was schiefgelaufen ist
Version 12 optimierte zu stark auf das Bewertungsmodell, das sie hoch einstufte, während die tatsächliche Interaktion sank, mit +0,05 % bei der Breite und -2,9 % bei der Tiefe. Meta zog daraus die Lehre, dass der Wert unter einer Obergrenze bleiben sollte, und wandte diese Regel auf spätere Versionen an.
Was Sie übernehmen können
Behandeln Sie ein Modell für ein offenes Produkt als etwas, das Sie in kleinen, getesteten Schritten verbessern. Behalten Sie die Kontrollgruppe, setzen Sie Grenzen für jeden Wert, dem das Modell hinterhertrainiert wird, und führen Sie Buch über gescheiterte Versionen.
Alle berichteten Zahlen
| Messgröße | Wert | Quellenangabe |
|---|---|---|
| Bester Zuwachs bei der Interaktionsbreite (wie viele Nutzer interagieren) in einem 7-Tage-A/B-Test einer neu eingesetzten Modellversion, aus Version 14 der Tabelle im Anhang des Papiers | bis zu 8,8 %1 | |
| Bester Zuwachs bei der Interaktionstiefe (wie stark jeder Nutzer interagiert) in einem 7-Tage-A/B-Test einer neu eingesetzten Modellversion, aus Version 13 der Tabelle im Anhang des Papiers | 19,4 %1 | |
| Rate, mit der Charaktere ihre Anweisungen verletzten, beurteilt von einem KI-Prüfer in internen Chat-Tests, von Version 2 bis Version 8 | 26,6 % auf 5,8 %1 | |
| Wert im IFEval, einem öffentlichen Benchmark zum Befolgen von Anweisungen, von Version 2 (vor dem Start) bis Version 7 | 59,2 % auf 84,8 %1 | |
| Effekt auf die Interaktion bei Version 12, dem Rückschlag durch Überoptimierung am Belohnungsmodell | +0,05 % bei der Breite und -2,9 % bei der Tiefe1 |
Erkenntnisse für Ihr Projekt
Testen Sie jedes Modell-Update mit echten Nutzern gegen eine Kontrollgruppe. Meta führte für jede neue Version randomisierte 7-Tage-A/B-Tests durch, statt Offline-Werten zu vertrauen.
Lassen Sie ein Bewertungsmodell nicht dauerhaft seine eigenen Hausaufgaben benoten. Version 12 erzielte beim Belohnungsmodell sehr gute Werte und verlor dennoch an Interaktion; deshalb setzte Meta für spätere Versionen eine Obergrenze für diesen Wert.
Prüfen Sie weiter die allgemeine Leistungsfähigkeit, während Sie auf ein Ziel optimieren. Meta verfolgte öffentliche Benchmarks, um sicherzustellen, dass die Optimierung auf Interaktion die Grundfähigkeiten des Modells nicht beschädigte.
Planen Sie ein, dass manche Versionen scheitern. Meta berichtet von mindestens einem klaren Rückschlag unter acht Versionen nach dem Start und behandelte ihn als Quelle von Regeln für die nächsten.
Einschränkungen
- Alle Ergebnisse werden von Metas eigenen Autoren in einem Forschungsbericht berichtet. Als Zugehörigkeit sind Meta Superintelligence Labs und FAIR at Meta angegeben (zwei Autoren nennen inzwischen OpenAI und xAI mit dem Hinweis, die Arbeit sei bei Meta entstanden). Keine externe Stelle hat die Zahlen bestätigt.
- Der Breitenzuwachs von bis zu 8,8 % (Version 14) und der Tiefenzuwachs von 19,4 % (Version 13) stammen laut der Tabelle im Anhang des Papiers aus unterschiedlichen Versionen; kein einzelnes Modell lieferte also beides. Die Aussage des Berichts, 7 von 8 Modellen hätten einen positiven Effekt gezeigt, gilt für jede Kennzahl einzeln, doch die Tabelle zeigt für jede eine andere Version mit negativem Ergebnis: Version 8 bei der Breite und Version 12 bei der Tiefe.
- Die Zahl von 59,2 % auf 84,8 % ist der IFEval-Benchmark-Wert über die Versionen 2 bis 7 vor dem Start, ein allgemeiner Test, keine Messung an Live-Charakteren von Meta.
- Ein Satz im Text des Berichts setzt Version 2 bei etwa 75 % statt 59,2 % an; dieser Fall folgt der Zusammenfassung und der Tabelle. Die Zahl von 26,6 % auf 5,8 % stammt von internen und Experten-Testern mit einem KI-Prüfer, nicht von Nutzern.
- Der Bericht nennt zwei Zeiträume: Entwicklung von Januar 2024 bis September 2025 in der Einleitung und bis April 2025 in der Zusammenfassung, den Ergebnissen und dem Fazit. Dieser Fall verwendet April 2025.
- Dies ist ein Verbraucherprodukt, das Meta auf seinem eigenen Modell gebaut hat, kein Kundeneinsatz in einem Unternehmen. Es ist wegen der dokumentierten Methode aufgenommen, ein Produktivmodell mit Live-Tests zu verbessern.
- Der Bericht nennt weder Kosten noch Teamgröße, und die Quellen sagen nicht, welcher Anteil der Nutzer die Charaktere sieht. Das Papierdatum ist das auf dem Papier gedruckte Datum (2. März 2026 auf arXiv, 3. März 2026 auf dem Papier selbst).
Quellen
- CharacterFlywheel: Scaling Iterative Improvement of Engaging and Steerable LLMs in Production
arXiv (Meta Superintelligence Labs and FAIR at Meta) · 2026-03-02 · Forschungsarbeit · arxiv.org
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.