Stan Edo, Nigeria: korepetycje z Copilotem poprawiają wyniki z angielskiego w badaniu

Problem

Nigeria, podobnie jak duża część Afryki Subsaharyjskiej, zmaga się z niedoborem nauczycieli i słabymi wynikami nauczania w szkołach średnich. Wiadomo, że korepetycje indywidualne pomagają uczniom, ale niewiele systemów edukacji stać na nie w dużej skali. Zespół Banku Światowego zapytał, czy bezpłatny chatbot AI ogólnego przeznaczenia może pełnić rolę korepetytora w warunkach ograniczonych zasobów.

Co zbudowano

Program nauki angielskiego po lekcjach dla uczniów pierwszego roku liceum, zwykle w wieku około 15 lat, w dziewięciu publicznych szkołach w Benin City w stanie Edo. Uczniowie spotykali się w szkolnych pracowniach komputerowych i używali Microsoft Copilot, wówczas opartego na GPT-4, jako wirtualnego korepetytora do krajowego programu nauczania angielskiego.

Jak to zrobiono

Program trwał od czerwca do lipca 2024 r. i obejmował do dwóch 90-minutowych sesji tygodniowo, łącznie dwanaście, po około 30 uczniów na sesję. Uczniowie pracowali w parach na wspólnych komputerach. Każda sesja zaczynała się od promptu przygotowanego przez nauczyciela i związanego z tematem ze zwykłego kursu angielskiego, po czym następowała swobodna interakcja z Copilotem, a nauczyciele krążyli po sali.

Nauczyciele nie prowadzili zajęć bezpośrednio. Przeszli jedno trzydniowe szkolenie i otrzymali zestaw narzędzi z materiałami edukacyjnymi, podręcznikiem umiejętności z zakresu AI oraz przewodnikami do sesji z proponowanymi promptami. Prompty napisano tak, aby chatbot działał jak korepetytor dostosowujący się do ucznia, używający lokalnych imion i przykładów. Obserwatorzy rejestrowali w każdej szkole frekwencję i jakość sesji.

Uczniów wybrano losowo spośród ochotników, co pozwoliło przeprowadzić randomizowane badanie kontrolowane z grupą kontrolną.

Wyniki

Uczniowie wybrani do programu uzyskali w teście końcowym o 0,31 odchylenia standardowego więcej niż grupa kontrolna, a z angielskiego o 0,238 odchylenia standardowego więcej. Lepiej wypadli też na zwykłym egzaminie z angielskiego w trzecim trymestrze, obejmującym cały rok (0,21 odchylenia standardowego). Przyrosty były większe u dziewcząt i u uczniów z lepszymi wcześniejszymi wynikami, a każdy dodatkowy dzień obecności wzmacniał efekt. Średnia frekwencja wyniosła 72 %.

Autorzy szacują koszt pilotażu na około 48 dolarów na ucznia. Modelują też przyrost z angielskiego jako równy 1,5 roku typowej nauki w szkole w Nigerii, co jest szacunkiem, a nie zmierzonym wynikiem.