Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Hamilton County Schools (Khan Academy Khanmigo)
Scholen in Tennessee testen Khan Academy's AI-tutor Khanmigo twee jaar: kleine winst, weinig gebruik
Gedurende twee schooljaren gebruikten 18 middelbare scholen in Tennessee Khan Academy met de AI-tutor Khanmigo in dagelijkse bijlesblokken wiskunde, als onderdeel van een gerandomiseerde proef door onafhankelijke economen. De wiskundescores stegen een beetje, ongeveer evenveel als oefenen op Khan Academy zonder AI, en de auteurs wijzen op het geringe gebruik: de meeste leerlingen praatten zelden met de tutor.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
Het probleem
Scholen vinden het moeilijk om zwakke wiskundeleerlingen de één-op-één hulp te geven die het best werkt, omdat menselijke bijles duur is en moeilijk te bemensen. Hamilton County Schools in Tennessee had al dagelijkse bijlesblokken wiskunde voor leerlingen onder het verwachte niveau. De vraag was of een AI-tutor binnen die blokken tegen lage kosten extra leerwinst kon opleveren.
Wat ze bouwden
Leerlingen gebruikten Khan Academy-oefeningen samen met Khanmigo, een AI-tutor die is ingericht om met vragen te begeleiden in plaats van antwoorden te geven. Hij was één klik weg terwijl leerlingen aan elk probleem werkten. De controlejaargroepen gingen door met gewone bijles, een combinatie van door de leraar begeleid oefenen en andere wiskundesoftware zonder AI-tutor.
Hoe ze het aanpakten
De economen Philip Oreopoulos en Nina Low voerden een clustergerandomiseerde proef uit. Binnen elk van de 18 middelbare scholen werden een of twee van de drie jaargroepen willekeurig aan de AI-versie toegewezen. De resultaten werden gemeten met de MAP-benchmarktoets van het district over vijf periodes in de twee schooljaren. Het team analyseerde ook chatberichten uit het tweede jaar om te zien hoe leerlingen de tutor gebruikten.
Resultaten
Toewijzing aan de AI-tutor verhoogde de wiskundescores met 1,3 nationale percentielrangen per periode (ongeveer 0,06 tot 0,08 standaarddeviaties over een schooljaar). De auteurs zeggen dat dit lijkt op wat oefenen op Khan Academy zonder AI oplevert. Bijna alle leerlingen (96%) probeerden Khanmigo, maar de mediane leerling stuurde het slechts op een derde van de oefendagen een bericht en in 17% van de sessies waarin hij of zij een fout maakte. Leerlingen in de AI-groep deden ongeveer 30 minuten extra oefening per week. Sal Khan, oprichter van Khan Academy, vertelde Hechinger dat de bevindingen overeenkwamen met de eigen waarnemingen van het bedrijf.
Wat er misging
Betrokkenheid was het zwakke punt. De meeste berichten aan de tutor waren kale antwoorden of klikken op voorgestelde prompts, en slechts ongeveer een op de zeven berichten bevatte een wiskundevraag of een redeneerstap. De auteurs concluderen dat het belangrijker is om leerlingen een AI-tutor te laten gebruiken dan hun toegang te geven.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Winst in wiskundeprestaties door toewijzing aan Khan Academy met Khanmigo | 1,3 nationale percentielrangen per periode1 | |
| Dezelfde winst uitgedrukt over een schooljaar | ongeveer 0,06 tot 0,08 standaarddeviaties1 | |
| Impliciet effect van een vol jaar actieve deelname | 0,14 standaarddeviaties1 | |
| Leerlingen die Khanmigo minstens één keer probeerden | 96%1 | |
| Aandeel oefendagen waarop de mediane leerling Khanmigo een bericht stuurde | een derde1 | |
| Aandeel oefensessies met een fout waarin de mediane leerling Khanmigo een bericht stuurde | 17%1 |
Lessen voor uw project
Meet het werkelijke gebruik, niet de toegang. Bijna alle leerlingen probeerden de tutor, maar de typische leerling vroeg er zelden hulp aan, dus licentieaantallen hadden de waarde overschat.
Reken er niet op dat leerlingen zelf hulp zoeken. Khan Academy zegt zelf dat leerlingen zich weinig betrokken toonden en heeft de tool inmiddels aangepast zodat die automatisch ingrijpt.
Bouw de AI in beschermde oefentijd in. Hier draaide hij binnen bestaande dagelijkse bijlesblokken, wat leerlingen extra oefening gaf; de auteurs denken dat de winst vooral daaruit kwam.
Vergelijk met dezelfde software zonder AI. De auteurs constateerden dat de winst overeenkwam met wat oefenen op Khan Academy op zichzelf oplevert, dus test AI tegen die basislijn.
Reserveer budget voor menselijke hulp waar veel op het spel staat. De auteurs merken op dat elke leerling in een jaar meer leert van menselijke bijles, tegen veel hogere kosten.
Kanttekeningen
- De resultaten komen uit een NBER-working paper van twee onafhankelijke economen. Het is niet door vakgenoten beoordeeld. Hamilton County Schools en Khan Academy worden genoemd als partners, en het paper bedankt Khan Academy voor hulp met het platform en het delen van gegevens.
- De bronnen zeggen niet welk taalmodel Khanmigo in de proef aandreef, dus het model staat als niet bekendgemaakt vermeld. Het paper zegt alleen dat Khan Academy Khanmigo in 2023 lanceerde na vroege toegang tot GPT-4.
- Hechinger meldt dat de geteste versie in 2023 uitkwam en dat Khan Academy de werking sindsdien heeft veranderd, dus de bevindingen gelden mogelijk niet voor het huidige product.
- De opzet kan de eigen bijdrage van de AI-tutor niet scheiden van het gestructureerde oefenen. De auteurs zeggen dat de winst vooral uit het oefenen komt.
- Het paper zegt dat Khan Academy de tutor in januari 2026, halverwege de proef, heeft aangepast zodat hij standaard kort na het laden van de pagina opent.
- Het invoeringsjaar is 2024 omdat de proef in het schooljaar 2024-25 begon. De NBER-pagina geeft alleen een verschijningsdatum van augustus 2026, dus de brondatum is vermeld als 2026-08.
Bronnen
- One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment
National Bureau of Economic Research (working paper 35620) · 2026-08 · Onderzoeksrapport · nber.org
- Students didn't get answers from Khanmigo. They didn't want its questions, either
The Hechinger Report · 2026-09-21 · Nieuws · hechingerreport.org
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.