Traduit de l’original anglais. Les chiffres et les sources sont inchangés. Lire l’original en anglais
Eedi
Eedi et Google testent LearnLM comme aide en mathématiques supervisée par des tuteurs pour 165 élèves britanniques
Eedi et Google ont testé LearnLM, un modèle d'IA spécialisé en éducation, qui rédigeait des messages de chat relus par des tuteurs humains avant que les élèves ne les voient, dans cinq collèges et lycées britanniques. Les tuteurs ont approuvé 76,4 % des brouillons avec zéro modification ou une modification minime. Les résultats ultérieurs des élèves étaient similaires à ceux obtenus avec des tuteurs humains seuls, et le seul avantage apparent, sur le thème suivant, était statistiquement incertain.
Chiffres clés
Repris tels quels des sources. Copiez n’importe quel chiffre avec sa citation.
76,4 %
Part des messages rédigés par LearnLM que les tuteurs superviseurs ont approuvés avec zéro modification ou une modification minime (un ou deux caractères changés), sur 3 617 messages rédigés1
5
(0,1 %)
Erreurs factuelles relevées lors d'une revue après l'essai des modifications des tuteurs, sur 3 617 messages rédigés (aucun contenu nuisible ou risqué trouvé)1
66,2 %
contre 60,7 % (5,5 points de pourcentage ; intervalle de crédibilité à 95 % [-1,4 %, +12,4 %])
Élèves répondant correctement à la première question du thème suivant : séances avec l'appui de LearnLM par rapport à un tuteur humain seul (résultat exploratoire)1
93,0 %
contre 91,2 %
Élèves ayant répondu correctement à leur deuxième tentative de la même question après le tutorat : avec l'appui de LearnLM par rapport à un tuteur humain seul1
Le problème
Le tutorat individuel aide les élèves à apprendre, mais il coûte trop cher pour être offert à la plupart d'entre eux. Eedi, une plateforme britannique d'apprentissage des mathématiques utilisée par des centaines d'établissements secondaires, propose déjà des indices rédigés à l'avance et une aide par chat en direct assurée par des tuteurs humains à distance. La question était de savoir si un modèle d'IA générative pouvait partager la charge sans nuire aux élèves.
Ce qu’ils ont construit
Eedi et Google ont ajouté LearnLM, un modèle de Google conçu pour l'enseignement, à l'aide par chat de la plateforme. Lorsqu'un élève se trompait à une question et qu'une séance de tutorat démarrait, la plateforme mettait l'élève en relation au hasard avec un tuteur humain seul ou avec LearnLM supervisé par un tuteur humain. LearnLM rédigeait chaque message dans un style de questionnement pas à pas, destiné à aider l'élève à trouver son erreur par ses propres moyens. Un tuteur lisait chaque message et pouvait l'approuver, le modifier ou le réécrire avant son envoi.
Comment ils s’y sont pris
L'essai a duré sept semaines, en mai et juin 2025, avec 165 élèves de 13 à 15 ans dans cinq établissements. Les élèves ont d'abord été affectés au hasard à des indices statiques (91 élèves) ou au tutorat (74 élèves). 17 tuteurs experts ont participé, alternant entre le dialogue direct avec les élèves et la supervision de LearnLM pendant les mêmes cours. Les auteurs ont mesuré les résultats à partir de l'activité quotidienne normale des élèves sur la plateforme, sans test supplémentaire.
Résultats
Sur les 3 617 messages rédigés par LearnLM, les tuteurs en ont accepté 74,4 % sans modification et 76,4 % avec zéro modification ou une modification minime. Une revue réalisée par les tuteurs n'a trouvé aucun contenu nuisible et cinq erreurs factuelles. Les élèves aidés par LearnLM ont répondu correctement à 93,0 % des deuxièmes tentatives, contre 91,2 % avec un tuteur humain seul. À la première question du thème suivant, ils ont eu 66,2 % de bonnes réponses contre 60,7 %, soit un écart de 5,5 points de pourcentage avec une large plage d'incertitude de -1,4 % à +12,4 %. Les auteurs y voient un résultat au moins aussi bon que celui des tuteurs humains, avec un possible avantage pour transférer l'apprentissage à de nouveaux thèmes. Comme la plage inclut zéro, considérez l'écart sur le thème suivant comme non démontré.
Ce qui a mal tourné
Les tuteurs ont indiqué que le style socratique constant de LearnLM pouvait frustrer certains élèves, et que les tuteurs humains jugent mieux quand insister et quand relâcher la pression. Environ 19,5 % des modifications des tuteurs ajustaient la personnalité ou le ton que LearnLM transmettait.
Ce qu’il faut retenir
Si vous pilotez une IA dans un contexte à forts enjeux, placez un relecteur formé sur chaque production, suivez la fréquence de ses modifications et comparez avec votre processus actuel par affectation aléatoire.
Enseignements pour votre projet
Gardez un humain dans la boucle pour tout ce que voit un enfant. Ici, un tuteur relisait chaque message de l'IA et pouvait l'approuver, le modifier ou le remplacer, et le taux de modification devient une mesure de qualité que vous pouvez suivre.
Randomisez au niveau de la séance pour que chaque élève voie les deux options. Eedi a ainsi pu comparer l'aide de l'IA et celle des humains pour les mêmes élèves.
Mesurez l'apprentissage qui se transmet, pas seulement la correction de la question en cours. Le seul écart entre l'aide de l'IA et l'aide humaine est apparu sur le thème suivant, et il était incertain.
Auditez l'ensemble des messages de l'IA après l'essai. Les tuteurs ont relu toutes les modifications et consigné cinq erreurs factuelles et aucun contenu nuisible.
Réserves
- Il s'agit d'un essai randomisé exploratoire, publié en prépublication par l'équipe LearnLM de Google et par Eedi, qui ont conçu le système. Il n'est pas évalué par des pairs et ne constitue pas un déploiement complet en production.
- Le gain sur le thème suivant n'est pas concluant et ne doit pas être lu comme un bénéfice démontré. L'écart de 5,5 points de pourcentage de réussite sur le thème suivant a un intervalle de crédibilité à 95 % de -1,4 % à +12,4 %, qui inclut l'absence d'effet. Les auteurs attribuent une crédibilité de 93,6 % au fait que LearnLM soit meilleur ; l'écart sur la deuxième tentative (93,0 % contre 91,2 %) est faible.
- LearnLM était toujours supervisé par un tuteur humain qui pouvait modifier ou remplacer ses messages. Les résultats décrivent la combinaison, pas l'IA seule, et l'article indique que les tuteurs ont pu retenir de LearnLM des techniques qu'ils ont utilisées dans leurs propres séances.
- L'essai attribuait les séances au hasard au sein des mêmes élèves, il ne peut donc pas montrer un apprentissage cumulatif dans le temps. Les constats de l'article sur l'efficacité (des tuteurs gérant davantage de conversations) sont anecdotiques et issus d'une simulation informelle.
- L'article indique que 74,4 % des brouillons ont été acceptés sans aucune modification ; 76,4 % est la part avec zéro modification ou une modification minime. Google a depuis intégré les capacités pédagogiques de LearnLM dans Gemini et recommande Gemini 2.5 Pro pour la réplication.
- Les dates de l'essai proviennent du texte de l'article (de mai à juin 2025). La version arXiv est datée du 29 décembre 2025.
Sources
- AI tutoring can safely and effectively support students: An exploratory RCT in UK classrooms
arXiv, LearnLM Team Google and Eedi · 2025-12-29 · Article de recherche · arxiv.org
Résumé dans nos propres mots à partir des sources ci-dessus. Une erreur ? Consultez les corrections.