Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Meta
Meta migliora i suoi personaggi IA su Instagram, WhatsApp e Messenger in 15 versioni del modello Llama 3.1
Gli autori di Meta descrivono come hanno riaddestrato 15 volte un modello di chat Llama 3.1 70B per personaggi IA che gli utenti creano e con cui chattano su Instagram, WhatsApp e Messenger. Riferiscono che le migliori nuove versioni hanno aumentato il coinvolgimento in test di 7 giorni e che i personaggi violavano le istruzioni molto meno spesso.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
fino all’8,8%
Miglior aumento dell’ampiezza del coinvolgimento (quanti utenti interagiscono) in un test A/B di 7 giorni di una nuova versione del modello messa in produzione, dalla versione 14 della tabella in appendice all’articolo1
19,4%
Miglior aumento della profondità del coinvolgimento (quanto interagisce ogni utente) in un test A/B di 7 giorni di una nuova versione del modello messa in produzione, dalla versione 13 della tabella in appendice all’articolo1
dal 26,6% al 5,8%
Tasso con cui i personaggi violavano le istruzioni, giudicato da un revisore IA su test di chat interni, dalla versione 2 alla versione 81
dal 59,2% all’84,8%
Punteggio su IFEval, un benchmark pubblico di aderenza alle istruzioni, dalla versione 2 (prima del lancio) alla versione 71
Cosa è servito
Il problema
Meta permette di creare personaggi IA e di chattare con loro dentro Instagram, Messenger, WhatsApp e sul web. A differenza di un assistente da lavoro, non esiste una risposta giusta da verificare. Il successo sta nel fatto che le persone vogliano continuare a chattare, cosa difficile da misurare e facile da leggere male. Meta voleva un modo ripetibile per rendere il modello di chat più coinvolgente, mantenendolo fedele al personaggio e sicuro.
Cosa hanno costruito
Il team di Meta è partito da Llama 3.1, la sua famiglia di modelli a pesi aperti (a pesi aperti significa che i file del modello sono pubblicati). Ha costruito un ciclo chiamato CharacterFlywheel. Ogni giro raccoglie dati di chat reali, addestra un modello di punteggio per prevedere ciò che piace alle persone e poi riaddestra il modello di chat rispetto a quel punteggio. Valutatori umani addestrati, e non solo i clic degli utenti, sono stati la principale fonte del segnale di preferenza. In produzione è stata usata solo la taglia 70B.
Come ci sono riusciti
Meta ha creato 15 versioni tra gennaio 2024 e aprile 2025. Le prime sette sono state testate internamente prima del lancio pubblico del 29 luglio 2024, e le otto successive sono state rilasciate agli utenti. Ogni versione è stata confrontata con la precedente in un test randomizzato di 7 giorni con utenti reali. Il team ha controllato a ogni passaggio anche sicurezza, aderenza alle istruzioni e benchmark pubblici.
Risultati
Gli autori riferiscono che 7 degli 8 modelli messi in produzione di recente hanno mostrato un effetto positivo rispetto alla base di riferimento. Nei test di 7 giorni, il miglior risultato per l’ampiezza del coinvolgimento è stato fino all’8,8% e il migliore per la profondità il 19,4%, da due versioni diverse. La quota di violazioni delle istruzioni nelle chat con i personaggi è scesa dal 26,6% al 5,8%, e il punteggio IFEval è salito dal 59,2% all’84,8% prima del lancio. Il coinvolgimento è cresciuto in modo costante per nove mesi dopo il lancio.
Cosa è andato storto
La versione 12 ha ottimizzato troppo rispetto al modello di punteggio, che la valutava molto bene, mentre il coinvolgimento reale calava, con +0,05% in ampiezza e -2,9% in profondità. Meta ha imparato che il punteggio deve restare sotto un tetto e ha applicato questa regola alle versioni successive.
Cosa replicare
Trattare un modello per un prodotto aperto come qualcosa da migliorare in piccoli passi testati. Mantenere il gruppo di controllo, fissare limiti a ogni punteggio che il modello viene addestrato a inseguire e conservare un registro delle versioni fallite.
Tutti i dati dichiarati
| Indicatore | Dato | Citazione |
|---|---|---|
| Miglior aumento dell’ampiezza del coinvolgimento (quanti utenti interagiscono) in un test A/B di 7 giorni di una nuova versione del modello messa in produzione, dalla versione 14 della tabella in appendice all’articolo | fino all’8,8%1 | |
| Miglior aumento della profondità del coinvolgimento (quanto interagisce ogni utente) in un test A/B di 7 giorni di una nuova versione del modello messa in produzione, dalla versione 13 della tabella in appendice all’articolo | 19,4%1 | |
| Tasso con cui i personaggi violavano le istruzioni, giudicato da un revisore IA su test di chat interni, dalla versione 2 alla versione 8 | dal 26,6% al 5,8%1 | |
| Punteggio su IFEval, un benchmark pubblico di aderenza alle istruzioni, dalla versione 2 (prima del lancio) alla versione 7 | dal 59,2% all’84,8%1 | |
| Effetto sul coinvolgimento della versione 12, la battuta d’arresto causata dall’ottimizzazione eccessiva rispetto al modello di ricompensa | +0,05% in ampiezza e -2,9% in profondità1 |
Lezioni per il vostro progetto
Testare ogni aggiornamento del modello su utenti reali con un gruppo di controllo. Meta ha eseguito test A/B randomizzati di 7 giorni per ogni nuova versione, anziché fidarsi dei punteggi offline.
Non lasciare che un modello di punteggio si valuti da solo per sempre. La versione 12 ha ottenuto ottimi punteggi sul modello di ricompensa e ha comunque perso coinvolgimento, quindi Meta ha fissato un tetto a quel punteggio per le versioni successive.
Continuare a controllare le capacità generali mentre si ottimizza per un obiettivo. Meta ha seguito benchmark pubblici per confermare che l’ottimizzazione sul coinvolgimento non danneggiasse le competenze di base del modello.
Mettere in conto che alcune versioni falliranno. Meta riferisce almeno una chiara battuta d’arresto su otto versioni successive al lancio e l’ha trattata come fonte di regole per le seguenti.
Avvertenze
- Tutti i risultati sono riferiti dagli autori di Meta in un rapporto di ricerca. Le affiliazioni indicate sono Meta Superintelligence Labs e FAIR at Meta (due autori ora indicano OpenAI e xAI, precisando che il lavoro è stato svolto in Meta). Nessun soggetto esterno ha confermato le cifre.
- L’aumento di ampiezza fino all’8,8% (versione 14) e quello di profondità del 19,4% (versione 13) provengono da versioni diverse, secondo la tabella in appendice all’articolo, quindi nessun singolo modello ha ottenuto entrambi. L’affermazione del rapporto secondo cui 7 modelli su 8 hanno mostrato un effetto positivo vale per ciascuna misura singolarmente, ma la tabella mostra per ciascuna una versione diversa con risultato negativo: la versione 8 per l’ampiezza e la versione 12 per la profondità.
- La cifra dal 59,2% all’84,8% è il punteggio del benchmark IFEval sulle versioni da 2 a 7 prima del lancio, un test generale, non una misura sui personaggi reali di Meta.
- Una frase nel testo del rapporto colloca la versione 2 intorno al 75% anziché al 59,2%; questo caso segue il riassunto e la tabella. La cifra dal 26,6% al 5,8% proviene da tester interni ed esperti con un revisore IA, non da utenti.
- Il rapporto indica due periodi: sviluppo da gennaio 2024 a settembre 2025 nell’introduzione, e fino ad aprile 2025 nel riassunto, nei risultati e nelle conclusioni. Questo caso usa aprile 2025.
- È un prodotto di consumo costruito da Meta sul proprio modello, non una messa in produzione presso un’azienda cliente. È incluso per il metodo documentato di miglioramento di un modello in produzione con test dal vivo.
- Il rapporto non indica costi né dimensioni del team, e le fonti non dicono quale quota di utenti veda i personaggi. La data dell’articolo è quella stampata sul documento (2 marzo 2026 su arXiv, 3 marzo 2026 sull’articolo stesso).
Fonti
- CharacterFlywheel: Scaling Iterative Improvement of Engaging and Steerable LLMs in Production
arXiv (Meta Superintelligence Labs and FAIR at Meta) · 2026-03-02 · Articolo di ricerca · arxiv.org
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.