Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Eedi
Eedi en Google testen LearnLM als wiskundehulp onder toezicht van tutors voor 165 Britse leerlingen
Eedi en Google testten in vijf Britse middelbare scholen LearnLM, een voor onderwijs afgestemd AI-model dat chatberichten opstelde die menselijke tutors nakeken voordat leerlingen ze zagen. Tutors keurden 76,4% van de concepten goed zonder of met minimale wijzigingen. De vervolgresultaten van de leerlingen waren vergelijkbaar met die bij alleen menselijke tutors, en het enige zichtbare voordeel, bij het volgende onderwerp, was statistisch onzeker.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
76,4%
Aandeel van de door LearnLM opgestelde berichten dat de toezichthoudende tutors goedkeurden zonder of met minimale wijzigingen (één of twee tekens veranderd), van 3.617 opgestelde berichten1
5
(0,1%)
Feitelijke fouten gevonden in een beoordeling van de wijzigingen van de tutors na de proef, van 3.617 opgestelde berichten (geen schadelijke of riskante inhoud gevonden)1
66,2%
tegen 60,7% (5,5 procentpunt; 95%-geloofwaardigheidsinterval [-1,4%, +12,4%])
Leerlingen die de eerste vraag van het volgende onderwerp goed beantwoordden: sessies met LearnLM-ondersteuning ten opzichte van alleen een menselijke tutor (verkennend resultaat)1
93,0%
tegen 91,2%
Leerlingen die bij hun tweede poging van dezelfde vraag na de bijles goed zaten: met LearnLM-ondersteuning ten opzichte van alleen een menselijke tutor1
Het probleem
Individuele bijles helpt leerlingen leren, maar is te duur om aan de meeste te geven. Eedi, een Brits wiskundeleerplatform dat honderden middelbare scholen gebruiken, biedt al kant-en-klare hints en live chathulp van menselijke tutors op afstand. De vraag was of een generatief AI-model een deel van de last kon dragen zonder leerlingen te schaden.
Wat ze bouwden
Eedi en Google voegden LearnLM, een voor onderwijs afgestemd Google-model, toe aan de chathulp op het platform. Als een leerling een vraag fout had en er een bijlessessie begon, koppelde het platform de leerling willekeurig aan alleen een menselijke tutor of aan LearnLM onder toezicht van een menselijke tutor. LearnLM schreef elk bericht in een stapsgewijze vragende stijl, bedoeld om leerlingen hun eigen fout te laten vinden. Een tutor las elk bericht en kon het goedkeuren, aanpassen of herschrijven voordat het werd verzonden.
Hoe ze het aanpakten
De proef liep zeven weken in mei en juni 2025 met 165 leerlingen van 13 tot 15 jaar op vijf scholen. Leerlingen werden eerst willekeurig toegewezen aan statische hints (91 leerlingen) of bijles (74 leerlingen). 17 deskundige tutors deden mee en wisselden tijdens dezelfde lessen af tussen rechtstreeks met leerlingen praten en toezicht houden op LearnLM. De auteurs maten de resultaten met de normale dagelijkse activiteit van leerlingen op het platform, dus extra toetsen waren niet nodig.
Resultaten
Van de 3.617 berichten die LearnLM opstelde, accepteerden de tutors er 74,4% zonder wijzigingen en 76,4% zonder of met minimale wijzigingen. Een beoordeling door de tutors vond geen schadelijke inhoud en vijf feitelijke fouten. Leerlingen die door LearnLM werden geholpen, beantwoordden 93,0% van de tweede pogingen goed, tegen 91,2% bij alleen een menselijke tutor. Bij de eerste vraag van het volgende onderwerp hadden ze 66,2% goed tegen 60,7%, een verschil van 5,5 procentpunt met een brede onzekerheidsmarge van -1,4% tot +12,4%. De auteurs lezen dit als minstens zo goed als menselijke tutors, met een mogelijk voordeel bij het overdragen van leren naar nieuwe onderwerpen. Omdat de marge nul insluit, kunt u het verschil bij het volgende onderwerp beter als onbewezen beschouwen.
Wat er misging
Tutors zeiden dat de gestage socratische stijl van LearnLM sommige leerlingen kon frustreren, en dat menselijke tutors beter beoordelen wanneer ze moeten doorduwen en wanneer ze moeten laten rusten. Ongeveer 19,5% van de wijzigingen van de tutors paste de persona of toon aan die LearnLM uitstraalde.
Wat u kunt overnemen
Als u AI test in een omgeving met hoge inzet, zet dan een getrainde beoordelaar op elke uitvoer, houd bij hoe vaak die iets wijzigt en vergelijk met uw huidige werkwijze via willekeurige toewijzing.
Lessen voor uw project
Houd een mens in de lus bij alles wat een kind ziet. Hier las een tutor elk AI-bericht na en kon het goedkeuren, aanpassen of vervangen, en het aanpassingspercentage wordt een kwaliteitsmaat die u kunt volgen.
Randomiseer op sessieniveau, zodat elke leerling beide opties ziet. Eedi gebruikte dit om AI- en menselijke hulp voor dezelfde leerlingen te vergelijken.
Meet leren dat doorwerkt, niet alleen het verbeteren van de huidige vraag. Het enige verschil tussen AI- en menselijke hulp zat bij het volgende onderwerp, en dat was onzeker.
Controleer na de proef alle AI-berichten. De tutors bekeken alle wijzigingen en legden vijf feitelijke fouten vast en geen schadelijke inhoud.
Kanttekeningen
- Dit is een verkennende gerandomiseerde proef, gemeld als preprint door het LearnLM-team van Google en Eedi, die het systeem bouwden. Ze is niet peer-reviewed en is geen volledige uitrol in productie.
- De winst bij het volgende onderwerp is niet overtuigend en mag niet worden gelezen als een bewezen voordeel. Het verschil van 5,5 procentpunt in succes bij het volgende onderwerp heeft een 95%-geloofwaardigheidsinterval van -1,4% tot +12,4%, wat geen effect insluit. De auteurs geven een geloofwaardigheid van 93,6% aan dat LearnLM beter is; het verschil bij de tweede poging (93,0% tegen 91,2%) is klein.
- LearnLM stond altijd onder toezicht van een menselijke tutor die de berichten kon aanpassen of vervangen. De resultaten beschrijven de combinatie, niet de AI alleen, en het artikel zegt dat tutors technieken van LearnLM kunnen hebben overgenomen die ze in hun eigen sessies gebruikten.
- De proef wees sessies willekeurig toe binnen dezelfde leerlingen, dus ze kan geen cumulatief leren over tijd laten zien. De efficiëntiebevindingen van het artikel (tutors die meer gesprekken afhandelen) zijn anekdotisch en berusten op een informele simulatie.
- Het artikel zegt dat 74,4% van de concepten zonder enige wijziging werd geaccepteerd; 76,4% is het aandeel zonder of met minimale wijzigingen. Google heeft de lesvaardigheden van LearnLM inmiddels in Gemini opgenomen en raadt Gemini 2.5 Pro aan voor replicatie.
- De data van de proef komen uit de tekst van het artikel (mei tot en met juni 2025). De arXiv-versie is gedateerd op 29 december 2025.
Bronnen
- AI tutoring can safely and effectively support students: An exploratory RCT in UK classrooms
arXiv, LearnLM Team Google and Eedi · 2025-12-29 · Onderzoeksrapport · arxiv.org
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.