Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Edo State secondary schools (World Bank evaluation)
Edo State, Nigeria: bijles met Copilot verbetert Engelse scores in een proef
Negen openbare middelbare scholen in Benin City, in de deelstaat Edo, voerden een zesweeks Engels programma na schooltijd uit, waarin leerlingen onder begeleiding van docenten met Microsoft Copilot werkten. Een gerandomiseerde proef van de Wereldbank meldt dat de leerlingen in totaal 0,31 standaarddeviatie hoger scoorden, tegen ongeveer 48 dollar per leerling.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
0,31
standaarddeviatie
Winst in de totaalscore op de toets aan het einde van het programma voor geselecteerde leerlingen ten opzichte van de controlegroep (Engels, digitale vaardigheden, AI-vaardigheden)1
0,238
standaarddeviatie
Winst in de Engelse score, de hoofduitkomst, voor geselecteerde leerlingen ten opzichte van de controlegroep1
0,21
standaarddeviatie
Winst op het gewone Engelse examen van de derde periode, dat de stof van het hele jaar besloeg1
72%
Gemiddelde aanwezigheid van leerlingen die aan het programma waren toegewezen1
Het probleem
Nigeria heeft, net als een groot deel van Afrika bezuiden de Sahara, te maken met lerarentekorten en zwakke leerresultaten in het middelbaar onderwijs. Individuele bijles helpt leerlingen aantoonbaar, maar weinig onderwijsstelsels kunnen die op grote schaal betalen. Het team van de Wereldbank vroeg zich af of een gratis, algemene AI-chatbot als tutor kon dienen in een omgeving met weinig middelen.
Wat ze bouwden
Een Engels programma na schooltijd voor leerlingen in het eerste jaar van de bovenbouw, meestal ongeveer 15 jaar oud, op negen openbare scholen in Benin City, in de deelstaat Edo. De leerlingen kwamen samen in de computerlokalen van de scholen en gebruikten Microsoft Copilot, dat destijds werd aangedreven door GPT-4, als virtuele tutor voor het nationale curriculum Engels.
Hoe ze het aanpakten
Het programma liep van juni tot juli 2024 en bood maximaal twee sessies van 90 minuten per week, twaalf in totaal, met ongeveer 30 leerlingen per sessie. De leerlingen werkten in tweetallen op gedeelde computers. Elke sessie begon met een door de docent aangeleverde prompt over een onderwerp uit de gewone Engelse les, gevolgd door vrije interactie met Copilot terwijl de docenten door de ruimte liepen.
De docenten gaven zelf geen les. Ze volgden één training van drie dagen en kregen een toolkit met leermateriaal, een handboek over AI-geletterdheid en sessiegidsen met voorgestelde prompts. De prompts waren zo geschreven dat de chatbot optrad als een tutor die zich aanpast aan de leerling, met lokale namen en voorbeelden. Waarnemers hielden op elke school aanwezigheid en sessiekwaliteit bij.
De leerlingen werden willekeurig gekozen uit de vrijwilligers, waardoor een gerandomiseerde gecontroleerde proef met een controlegroep mogelijk was.
Resultaten
Leerlingen die voor het programma waren geselecteerd, scoorden op de eindtoets 0,31 standaarddeviatie hoger dan de controlegroep, met Engels 0,238 standaarddeviatie hoger. Ze deden het ook beter op het gewone Engelse examen van de derde periode, dat het hele jaar besloeg (0,21 standaarddeviatie). De winst was groter voor meisjes en voor leerlingen met sterkere eerdere resultaten, en elke extra aanwezige dag vergrootte het effect. De gemiddelde aanwezigheid was 72%.
De auteurs schatten de kosten van de pilot op ongeveer 48 dollar per leerling. Ze modelleren de winst in Engels ook als gelijk aan 1,5 jaar gebruikelijk onderwijs in Nigeria, wat een schatting is en geen gemeten resultaat.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Winst in de totaalscore op de toets aan het einde van het programma voor geselecteerde leerlingen ten opzichte van de controlegroep (Engels, digitale vaardigheden, AI-vaardigheden) | 0,31 standaarddeviatie1 | |
| Winst in de Engelse score, de hoofduitkomst, voor geselecteerde leerlingen ten opzichte van de controlegroep | 0,238 standaarddeviatie1 | |
| Winst op het gewone Engelse examen van de derde periode, dat de stof van het hele jaar besloeg | 0,21 standaarddeviatie1 | |
| Gemiddelde aanwezigheid van leerlingen die aan het programma waren toegewezen | 72%1 | |
| Kosten per leerling van de zesweekse pilot voor 657 leerlingen | ongeveer 48 dollar1 |
Lessen voor uw project
Houd de docenten in de klas. In dit programma bepaalden docenten de openingsprompt van elke sessie en begeleidden ze duo's van leerlingen, en de auteurs zien het programma als geheel, inclusief de begeleiding door docenten en de prompts, als drijvende kracht achter de resultaten.
Schrijf prompts voor bijles, niet voor antwoorden. De sessiegidsen lieten Copilot als tutor optreden en lokale namen en gewoonten gebruiken, zodat het vragen stelde in plaats van alleen antwoorden te geven.
Houd rekening met stroom- en internetuitval. Storingen en het regenseizoen verstoorden sessies, dus noodstroom en een back-upverbinding zijn belangrijk voordat u opschaalt.
Reken op kosten voor inhoud. Het ontwikkelen van inhoud was 72% van de vaste kosten, dus een tweede ronde zou per leerling minder moeten kosten.
Informeer gebruikers over risico's. Docenten en leerlingen werden in de eerste sessie gewaarschuwd voor foute antwoorden, vooroordelen en overmatig vertrouwen.
Kanttekeningen
- De evaluatie is uitgevoerd door medewerkers van de Wereldbank die ook hielpen bij het ontwerp van de pilot. De bronnen zijn het werkdocument en de blogberichten van de Wereldbank zelf, zonder externe bevestiging.
- Een blog van de Wereldbank bedankt de commissaris voor Onderwijs van Edo State en de Edo State Secondary Education Board voor de samenwerking bij de pilot, en de auteurs zijn medewerkers van de Wereldbank. De bronnen zeggen niet wie welk deel van het programma financierde of uitvoerde, dus de case wordt toegeschreven aan de deelnemende scholen in Edo State en de evaluatie van de Wereldbank.
- De implementatiedatum is de start van het zesweekse programma (juni tot juli 2024). De publicatiedatum is de update van het werkdocument van december 2025, dat voor het eerst in mei 2025 verscheen.
- Van de toegewezen leerlingen, 657 aan het programma en 671 aan de controlegroep, maakten er slechts 422 en 337 de eindtoets. De aanwezigheid van de aan het programma toegewezen leerlingen was gemiddeld 72%.
- De samenvatting van het werkdocument rondt het effect op Engels af op 0,23 standaarddeviatie en de inleiding noemt 0,24; het kostenhoofdstuk geeft 0,238, dat hier wordt gebruikt. De blog noemt 800 deelnemende leerlingen; hier worden de aantallen uit het werkdocument gebruikt.
- De beweringen over een winst gelijk aan 1,5 tot 2 jaar onderwijs en over kosteneffectiviteit zijn modelberekeningen van de auteurs en staan niet als meetwaarden vermeld. Het is een zesweekse pilot alleen voor Engels en de langetermijneffecten zijn niet getest.
- Copilot was een gratis tool die destijds werd omschreven als aangedreven door GPT-4. Volgens het werkdocument was voor de tool alleen registratie van de leerlingen nodig.
Bronnen
- From Chalkboards to Chatbots: Evaluating the Impact of Generative AI on Learning Outcomes in Nigeria
World Bank Policy Research Working Paper 11125 · 2025-12 · Onderzoeksrapport · documents.worldbank.org
- From chalkboards to chatbots: Transforming learning in Nigeria, one prompt at a time
World Bank Blogs (Education for Global Development) · 2025-01-09 · Bedrijfsblog · blogs.worldbank.org
- From chalkboards to chatbots in Nigeria: 7 lessons to pioneer generative AI for education
World Bank Blogs (Education for Global Development) · 2024-09-18 · Bedrijfsblog · blogs.worldbank.org
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.