Eedi i Google testują LearnLM jako nadzorowaną przez korepetytorów pomoc z matematyki dla 165 brytyjskich uczniów

Problem

Korepetycje indywidualne pomagają uczniom się uczyć, ale kosztują zbyt wiele, by zaoferować je większości. Eedi, brytyjska platforma do nauki matematyki używana przez setki szkół średnich, oferuje już gotowe podpowiedzi i pomoc na żywo na czacie od zdalnych korepetytorów. Pytanie brzmiało, czy generatywny model AI może przejąć część obciążenia bez szkody dla uczniów.

Co zbudowano

Eedi i Google dodały LearnLM, model Google dostrojony do nauczania, do pomocy na czacie na platformie. Gdy uczeń pomylił się w pytaniu i zaczynała się sesja korepetycji, platforma łączyła go losowo z samym korepetytorem albo z LearnLM nadzorowanym przez korepetytora. LearnLM pisał każdą wiadomość w stylu pytań krok po kroku, mającym pomóc uczniowi samodzielnie znaleźć błąd. Korepetytor czytał każdą wiadomość i mógł ją zatwierdzić, zmienić lub napisać od nowa przed wysłaniem.

Jak to zrobiono

Badanie trwało siedem tygodni w maju i czerwcu 2025 i objęło 165 uczniów w wieku 13 do 15 lat w pięciu szkołach. Uczniów najpierw losowo przydzielono do statycznych podpowiedzi (91 uczniów) lub korepetycji (74 uczniów). Wzięło udział 17 doświadczonych korepetytorów, którzy w trakcie tych samych lekcji przechodzili między bezpośrednią rozmową z uczniami a nadzorowaniem LearnLM. Autorzy mierzyli wyniki na podstawie zwykłej codziennej aktywności uczniów na platformie, więc dodatkowe testy nie były potrzebne.

Wyniki

Spośród 3 617 wiadomości przygotowanych przez LearnLM korepetytorzy przyjęli 74,4 % bez zmian i 76,4 % bez zmian lub z minimalnymi zmianami. Przegląd przeprowadzony przez korepetytorów nie znalazł szkodliwych treści i wykazał pięć błędów merytorycznych. Uczniowie wspierani przez LearnLM odpowiedzieli poprawnie w 93,0 % drugich prób, wobec 91,2 % przy samym korepetytorze. W pierwszym pytaniu następnego tematu trafili w 66,2 % wobec 60,7 %, czyli różnica wyniosła 5,5 punktu procentowego przy szerokim zakresie niepewności od -1,4 % do +12,4 %. Autorzy odczytują to jako wynik co najmniej tak dobry jak u korepetytorów, z możliwą przewagą w przenoszeniu nauki na nowe tematy. Ponieważ zakres obejmuje zero, różnicę w następnym temacie warto traktować jako nieudowodnioną.

Co poszło nie tak

Korepetytorzy powiedzieli, że stały sokratejski styl LearnLM mógł frustrować niektórych uczniów oraz że ludzcy korepetytorzy lepiej oceniają, kiedy naciskać, a kiedy odpuścić. Około 19,5 % zmian korepetytorów korygowało personę lub ton, jaki przekazywał LearnLM.

Co warto powtórzyć

Jeśli pilotujecie AI w środowisku o wysokiej stawce, postawcie przeszkolonego recenzenta przy każdym wyniku, śledźcie, jak często go zmienia, i porównujcie z obecnym procesem przez losowy przydział.