Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Hamilton County Schools (Khan Academy Khanmigo)
Szkoły w Tennessee testują tutora AI Khanmigo z Khan Academy przez dwa lata: małe zyski, niewielkie użycie
Przez dwa lata szkolne 18 szkół typu middle school w Tennessee korzystało z Khan Academy z tutorem AI Khanmigo podczas codziennych zajęć wyrównawczych z matematyki, w ramach randomizowanego badania niezależnych ekonomistów. Wyniki z matematyki wzrosły nieznacznie, mniej więcej tak jak po ćwiczeniach na Khan Academy bez AI, a autorzy wskazują na niewielkie użycie: większość uczniów rzadko rozmawiała z tutorem.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
Problem
Szkoły mają trudność z zapewnieniem słabszym uczniom matematyki indywidualnej pomocy, która działa najlepiej, bo korepetycje prowadzone przez człowieka są drogie i trudno je obsadzić. Szkoły w hrabstwie Hamilton w Tennessee już prowadziły codzienne bloki wyrównawcze z matematyki dla uczniów poniżej poziomu klasy. Pytanie brzmiało, czy tutor AI w tych blokach może tanio dodać nauki.
Co zbudowano
Uczniowie korzystali z ćwiczeń Khan Academy razem z Khanmigo, tutorem AI ustawionym tak, by prowadzić pytaniami zamiast podawać odpowiedzi. Był o jedno kliknięcie od ucznia przy każdym zadaniu. Klasy kontrolne kontynuowały zwykłe zajęcia wyrównawcze, łączące ćwiczenia prowadzone przez nauczyciela z innym oprogramowaniem matematycznym bez tutora AI.
Jak to zrobiono
Ekonomiści Philip Oreopoulos i Nina Low przeprowadzili badanie randomizowane klastrowo. W każdej z 18 szkół jedną lub dwie z trzech klas losowo przydzielono do wersji z AI. Wyniki mierzono okręgowym testem MAP w pięciu okresach na przestrzeni dwóch lat szkolnych. Zespół przeanalizował też wiadomości z czatu z drugiego roku, aby zobaczyć, jak uczniowie korzystali z tutora.
Wyniki
Przydzielenie do tutora AI podniosło wyniki z matematyki o 1,3 punktu percentylowego w skali krajowej na okres (około 0,06 do 0,08 odchylenia standardowego w skali roku szkolnego). Autorzy mówią, że przypomina to efekt ćwiczeń na Khan Academy bez AI. Prawie wszyscy uczniowie (96 %) wypróbowali Khanmigo, ale mediana uczniów pisała do niego tylko w jednej trzeciej dni ćwiczeń i w 17 % sesji, w których popełnili błąd. Uczniowie w grupie z AI ćwiczyli tygodniowo o około 30 minut więcej. Założyciel Khan Academy Sal Khan powiedział Hechingerowi, że ustalenia zgadzają się z obserwacjami firmy.
Co poszło nie tak
Słabym punktem było zaangażowanie. Większość wiadomości do tutora to były same odpowiedzi lub kliknięcia w podpowiedzi, a tylko mniej więcej co siódma wiadomość zawierała pytanie matematyczne lub krok rozumowania. Autorzy wnioskują, że nakłonienie uczniów do korzystania z tutora AI jest ważniejsze niż dawanie im dostępu.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Wzrost wyników z matematyki po przydzieleniu do Khan Academy z Khanmigo | 1,3 punktu percentylowego w skali krajowej na okres1 | |
| Ten sam wzrost wyrażony w skali roku szkolnego | około 0,06 do 0,08 odchylenia standardowego1 | |
| Zakładany efekt pełnego roku aktywnego udziału | 0,14 odchylenia standardowego1 | |
| Uczniowie, którzy wypróbowali Khanmigo przynajmniej raz | 96 %1 | |
| Odsetek dni ćwiczeń, w których mediana uczniów napisała do Khanmigo | jedna trzecia1 | |
| Odsetek sesji ćwiczeń z błędem, w których mediana uczniów napisała do Khanmigo | 17 %1 |
Wnioski dla Twojego projektu
Mierzcie rzeczywiste użycie, a nie dostęp. Prawie każdy uczeń wypróbował tutora, ale typowy uczeń rzadko prosił go o pomoc, więc liczba licencji zawyżyłaby wartość.
Nie liczcie na to, że uczniowie sami poproszą o pomoc. Sama Khan Academy mówi, że uczniowie angażowali się niewiele, i od tego czasu przeprojektowała narzędzie tak, by reagowało automatycznie.
Wbudujcie AI w chroniony czas ćwiczeń. Tutaj działała w istniejących codziennych blokach wyrównawczych, co dało uczniom dodatkową praktykę; autorzy uważają, że zyski wzięły się głównie z niej.
Porównujcie z tym samym oprogramowaniem bez AI. Autorzy stwierdzili, że zyski odpowiadały temu, co daje sama praktyka na Khan Academy, więc testujcie AI względem tej punktu odniesienia.
Zaplanujcie ludzką pomoc tam, gdzie stawka jest wysoka. Autorzy zauważają, że każdy uczeń uczy się więcej w ciągu roku z korepetycji prowadzonych przez człowieka, przy znacznie wyższym koszcie.
Zastrzeżenia
- Wyniki pochodzą z roboczego artykułu NBER dwojga niezależnych ekonomistów. Nie przeszedł recenzji naukowej. Hamilton County Schools i Khan Academy są wskazane jako partnerzy, a artykuł dziękuje Khan Academy za pomoc przy platformie i udostępnienie danych.
- Źródła nie podają, jaki model językowy napędzał Khanmigo w badaniu, więc model oznaczono jako nieujawniony. Artykuł mówi tylko, że Khan Academy uruchomiła Khanmigo w 2023 roku po wczesnym dostępie do GPT-4.
- Hechinger informuje, że testowana wersja została wydana w 2023 roku, a Khan Academy od tego czasu zmieniła sposób jej działania, więc ustalenia mogą nie dotyczyć dzisiejszego produktu.
- Projekt badania nie pozwala oddzielić własnego wkładu tutora AI od ustrukturyzowanej praktyki. Autorzy twierdzą, że zyski wynikają głównie z praktyki.
- Artykuł podaje, że Khan Academy zmieniła tutora w styczniu 2026 roku, w trakcie badania, tak by otwierał się domyślnie krótko po załadowaniu strony.
- Rok wdrożenia to 2024, ponieważ badanie rozpoczęło się w roku szkolnym 2024-25. Strona NBER podaje tylko datę wydania z sierpnia 2026 roku, więc datę źródła podano jako 2026-08.
Źródła
- One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment
National Bureau of Economic Research (working paper 35620) · 2026-08 · Publikacja naukowa · nber.org
- Students didn't get answers from Khanmigo. They didn't want its questions, either
The Hechinger Report · 2026-09-21 · Wiadomości · hechingerreport.org
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.