Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Eedi
Eedi e Google sperimentano LearnLM come aiuto di matematica supervisionato da tutor per 165 studenti britannici
Eedi e Google hanno sperimentato LearnLM, un modello di IA ottimizzato per l'istruzione, che redigeva messaggi di chat rivisti da tutor umani prima che gli studenti li vedessero, in cinque scuole secondarie britanniche. I tutor hanno approvato il 76,4% delle bozze senza modifiche o con modifiche minime. I risultati successivi degli studenti erano simili a quelli con i soli tutor umani, e l'unico vantaggio apparente, sull'argomento successivo, era statisticamente incerto.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
76,4%
Quota dei messaggi redatti da LearnLM che i tutor supervisori hanno approvato senza modifiche o con modifiche minime (uno o due caratteri cambiati), su 3.617 messaggi redatti1
5
(0,1%)
Errori fattuali trovati in una revisione successiva alla sperimentazione delle modifiche dei tutor, su 3.617 messaggi redatti (nessun contenuto dannoso o rischioso trovato)1
66,2%
contro 60,7% (5,5 punti percentuali; intervallo di credibilità al 95% [-1,4%, +12,4%])
Studenti che hanno risposto correttamente alla prima domanda dell'argomento successivo: sessioni con il supporto di LearnLM rispetto al solo tutor umano (risultato esplorativo)1
93,0%
contro 91,2%
Studenti corretti al secondo tentativo della stessa domanda dopo il tutoraggio: con il supporto di LearnLM rispetto al solo tutor umano1
Il problema
Il tutoraggio individuale aiuta gli studenti a imparare, ma costa troppo per offrirlo alla maggior parte di loro. Eedi, una piattaforma britannica di apprendimento della matematica usata da centinaia di scuole secondarie, offre già suggerimenti scritti in anticipo e un aiuto in chat dal vivo da parte di tutor umani a distanza. La domanda era se un modello di IA generativa potesse condividere il carico senza danneggiare gli studenti.
Cosa hanno costruito
Eedi e Google hanno aggiunto LearnLM, un modello di Google ottimizzato per l'insegnamento, all'aiuto in chat della piattaforma. Quando uno studente sbagliava una domanda e partiva una sessione di tutoraggio, la piattaforma collegava lo studente a caso a un tutor umano da solo o a LearnLM supervisionato da un tutor umano. LearnLM scriveva ogni messaggio con uno stile di domande passo dopo passo pensato per aiutare lo studente a trovare da sé il proprio errore. Un tutor leggeva ogni messaggio e poteva approvarlo, modificarlo o riscriverlo prima dell'invio.
Come ci sono riusciti
La sperimentazione è durata sette settimane, a maggio e giugno 2025, con 165 studenti di 13-15 anni in cinque scuole. Gli studenti sono stati assegnati prima a caso a suggerimenti statici (91 studenti) o a tutoraggio (74 studenti). Hanno partecipato 17 tutor esperti, alternando il dialogo diretto con gli studenti e la supervisione di LearnLM durante le stesse lezioni. Gli autori hanno misurato i risultati con la normale attività quotidiana degli studenti sulla piattaforma, quindi non sono serviti test aggiuntivi.
Risultati
Dei 3.617 messaggi redatti da LearnLM, i tutor ne hanno accettato il 74,4% senza modifiche e il 76,4% senza modifiche o con modifiche minime. Una revisione dei tutor non ha trovato contenuti dannosi e ha trovato cinque errori fattuali. Gli studenti aiutati da LearnLM hanno risposto correttamente al 93,0% dei secondi tentativi, contro il 91,2% con il solo tutor umano. Alla prima domanda dell'argomento successivo hanno risposto bene nel 66,2% dei casi contro il 60,7%, un divario di 5,5 punti percentuali con un ampio margine di incertezza da -1,4% a +12,4%. Gli autori lo leggono come almeno altrettanto buono dei tutor umani, con un possibile vantaggio nel trasferire l'apprendimento a nuovi argomenti. Poiché l'intervallo include lo zero, considerare il divario sull'argomento successivo come non dimostrato.
Cosa è andato storto
I tutor hanno detto che lo stile socratico costante di LearnLM poteva frustrare alcuni studenti, e che i tutor umani giudicano meglio quando insistere e quando allentare. Circa il 19,5% delle modifiche dei tutor regolava la personalità o il tono trasmesso da LearnLM.
Cosa replicare
Se si sperimenta l'IA in un contesto ad alto rischio, mettere un revisore formato su ogni output, monitorare quanto spesso lo modifica e confrontare con il processo attuale tramite assegnazione casuale.
Lezioni per il vostro progetto
Tenere una persona nel circuito per tutto ciò che vede un minore. Qui un tutor rivedeva ogni messaggio dell'IA e poteva approvarlo, modificarlo o sostituirlo, e il tasso di modifica diventa una misura di qualità che si può monitorare.
Randomizzare a livello di sessione, in modo che ogni studente veda entrambe le opzioni. Eedi lo ha usato per confrontare l'aiuto dell'IA e quello umano per gli stessi studenti.
Misurare l'apprendimento che si trasferisce, non solo la correzione della domanda in corso. L'unica differenza tra aiuto dell'IA e umano è emersa sull'argomento successivo, ed era incerta.
Verificare l'intero insieme dei messaggi dell'IA dopo la sperimentazione. I tutor hanno rivisto tutte le modifiche e registrato cinque errori fattuali e nessun contenuto dannoso.
Avvertenze
- Si tratta di una sperimentazione randomizzata esplorativa, riportata come preprint dal team LearnLM di Google e da Eedi, che hanno costruito il sistema. Non è sottoposta a revisione paritaria e non è un rilascio completo in produzione.
- Il miglioramento sull'argomento successivo non è conclusivo e non va letto come un beneficio dimostrato. La differenza di 5,5 punti percentuali nel successo sull'argomento successivo ha un intervallo di credibilità al 95% da -1,4% a +12,4%, che include l'assenza di effetto. Gli autori attribuiscono una credibilità del 93,6% all'ipotesi che LearnLM sia migliore; il divario al secondo tentativo (93,0% contro 91,2%) è piccolo.
- LearnLM è sempre stato supervisionato da un tutor umano che poteva modificare o sostituire i suoi messaggi. I risultati descrivono la combinazione, non l'IA da sola, e l'articolo dice che i tutor potrebbero aver appreso da LearnLM tecniche che hanno usato nelle proprie sessioni.
- La sperimentazione ha assegnato le sessioni a caso all'interno degli stessi studenti, quindi non può mostrare un apprendimento cumulativo nel tempo. I risultati sull'efficienza dell'articolo (tutor che gestiscono più conversazioni) sono aneddotici e derivano da una simulazione informale.
- L'articolo dice che il 74,4% delle bozze è stato accettato senza alcuna modifica; il 76,4% è la quota senza modifiche o con modifiche minime. Google ha da allora integrato le capacità didattiche di LearnLM in Gemini e raccomanda Gemini 2.5 Pro per la replica.
- Le date della sperimentazione derivano dal testo dell'articolo (da maggio a giugno 2025). La versione su arXiv è datata 29 dicembre 2025.
Fonti
- AI tutoring can safely and effectively support students: An exploratory RCT in UK classrooms
arXiv, LearnLM Team Google and Eedi · 2025-12-29 · Articolo di ricerca · arxiv.org
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.