Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Eedi
Eedi und Google testen LearnLM als von Tutoren beaufsichtigten Mathematikhelfer für 165 britische Schüler
Eedi und Google testeten in fünf britischen weiterführenden Schulen LearnLM, ein auf Bildung abgestimmtes KI-Modell, das Chat-Nachrichten entwarf, die menschliche Tutoren prüften, bevor die Schüler sie sahen. Die Tutoren genehmigten 76,4 % der Entwürfe ohne oder mit minimalen Änderungen. Die Folgeergebnisse der Schüler ähnelten denen mit menschlichen Tutoren allein, und der einzige scheinbare Vorsprung beim nächsten Thema war statistisch unsicher.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
76,4 %
Anteil der von LearnLM entworfenen Nachrichten, die die beaufsichtigenden Tutoren ohne oder mit minimalen Änderungen (ein oder zwei Zeichen) genehmigten, von 3.617 entworfenen Nachrichten1
5
(0,1 %)
Sachliche Fehler, die in einer Prüfung der Tutorenänderungen nach der Studie gefunden wurden, von 3.617 entworfenen Nachrichten (kein schädlicher oder riskanter Inhalt gefunden)1
66,2 %
gegenüber 60,7 % (5,5 Prozentpunkte; 95-%-Glaubwürdigkeitsintervall [-1,4 %, +12,4 %])
Schüler, die die erste Frage des nächsten Themas richtig beantworteten: Sitzungen mit LearnLM-Unterstützung im Vergleich zu einem menschlichen Tutor allein (explorativer Befund)1
93,0 %
gegenüber 91,2 %
Schüler, die beim zweiten Versuch derselben Frage nach dem Tutoring richtig lagen: mit LearnLM-Unterstützung im Vergleich zu einem menschlichen Tutor allein1
Das Problem
Einzelunterricht hilft Schülern beim Lernen, ist aber zu teuer, um ihn den meisten anzubieten. Eedi, eine britische Mathematik-Lernplattform, die von Hunderten weiterführender Schulen genutzt wird, bietet bereits vorgefertigte Hinweise und Live-Chat-Hilfe durch menschliche Tutoren aus der Ferne. Die Frage war, ob ein generatives KI-Modell einen Teil der Last übernehmen kann, ohne den Schülern zu schaden.
Was sie gebaut haben
Eedi und Google ergänzten die Chat-Hilfe der Plattform um LearnLM, ein für den Unterricht abgestimmtes Google-Modell. Wenn ein Schüler eine Frage falsch beantwortete und eine Tutoring-Sitzung begann, verband die Plattform den Schüler zufällig mit einem menschlichen Tutor allein oder mit LearnLM unter Aufsicht eines menschlichen Tutors. LearnLM schrieb jede Nachricht in einem schrittweisen Fragestil, der dem Schüler helfen sollte, den eigenen Fehler selbst zu finden. Ein Tutor las jede Nachricht und konnte sie vor dem Senden genehmigen, ändern oder neu schreiben.
Wie sie vorgegangen sind
Die Studie lief sieben Wochen im Mai und Juni 2025 mit 165 Schülern im Alter von 13 bis 15 Jahren an fünf Schulen. Die Schüler wurden zunächst zufällig statischen Hinweisen (91 Schüler) oder dem Tutoring (74 Schüler) zugeteilt. 17 erfahrene Tutoren nahmen teil und wechselten im selben Unterricht zwischen direktem Gespräch mit Schülern und der Beaufsichtigung von LearnLM. Die Autoren maßen die Ergebnisse anhand der normalen täglichen Aktivität der Schüler auf der Plattform, zusätzliche Tests waren nicht nötig.
Ergebnisse
Von den 3.617 von LearnLM entworfenen Nachrichten nahmen die Tutoren 74,4 % ohne Änderungen und 76,4 % ohne oder mit minimalen Änderungen an. Eine Prüfung durch die Tutoren fand keinen schädlichen Inhalt und fünf sachliche Fehler. Schüler, denen LearnLM half, beantworteten 93,0 % der zweiten Versuche richtig, gegenüber 91,2 % mit einem menschlichen Tutor allein. Bei der ersten Frage des nächsten Themas lagen sie zu 66,2 % richtig gegenüber 60,7 %, ein Abstand von 5,5 Prozentpunkten mit einer breiten Unsicherheitsspanne von -1,4 % bis +12,4 %. Die Autoren lesen dies als mindestens so gut wie menschliche Tutoren, mit einem möglichen Vorteil bei der Übertragung des Gelernten auf neue Themen. Da die Spanne null einschließt, ist der Abstand beim nächsten Thema als unbewiesen zu betrachten.
Was schiefgelaufen ist
Die Tutoren sagten, der gleichmäßige sokratische Stil von LearnLM könne manche Schüler frustrieren, und menschliche Tutoren beurteilten besser, wann man nachhaken und wann man nachlassen sollte. Etwa 19,5 % der Änderungen der Tutoren passten die Persona oder den Ton an, den LearnLM vermittelte.
Was Sie übernehmen können
Wenn Sie KI in einem Umfeld mit hohem Risiko erproben, lassen Sie jede Ausgabe von einer geschulten Person prüfen, verfolgen Sie, wie oft diese sie ändert, und vergleichen Sie mit Ihrem heutigen Verfahren per Zufallszuteilung.
Erkenntnisse für Ihr Projekt
Halten Sie bei allem, was ein Kind sieht, einen Menschen im Prozess. Hier prüfte ein Tutor jede KI-Nachricht und konnte sie genehmigen, ändern oder ersetzen, und die Änderungsquote wird zu einer Qualitätskennzahl, die Sie verfolgen können.
Randomisieren Sie auf Sitzungsebene, damit jeder Schüler beide Varianten sieht. Eedi konnte so KI- und menschliche Hilfe für dieselben Schüler vergleichen.
Messen Sie Lernen, das übertragen wird, nicht nur die Korrektur der aktuellen Frage. Der einzige Unterschied zwischen KI- und menschlicher Hilfe zeigte sich beim nächsten Thema, und er war unsicher.
Prüfen Sie nach der Studie die gesamte Menge der KI-Nachrichten. Die Tutoren sahen alle Änderungen durch und protokollierten fünf sachliche Fehler und keinen schädlichen Inhalt.
Einschränkungen
- Dies ist eine explorative randomisierte Studie, als Preprint berichtet vom LearnLM-Team von Google und von Eedi, die das System gebaut haben. Sie ist nicht begutachtet und kein vollständiger Produktivrollout.
- Der Zuwachs beim nächsten Thema ist nicht eindeutig und sollte nicht als belegter Nutzen gelesen werden. Der Unterschied von 5,5 Prozentpunkten beim Erfolg im nächsten Thema hat ein 95-%-Glaubwürdigkeitsintervall von -1,4 % bis +12,4 %, das keinen Effekt einschließt. Die Autoren geben eine Glaubwürdigkeit von 93,6 % dafür an, dass LearnLM besser ist; der Abstand beim zweiten Versuch (93,0 % gegenüber 91,2 %) ist klein.
- LearnLM wurde stets von einem menschlichen Tutor beaufsichtigt, der seine Nachrichten ändern oder ersetzen konnte. Die Ergebnisse beschreiben die Kombination, nicht die KI allein, und das Paper sagt, dass Tutoren von LearnLM Techniken übernommen haben könnten, die sie in eigenen Sitzungen nutzten.
- Die Studie wies Sitzungen innerhalb derselben Schüler zufällig zu, kann also kein kumulatives Lernen über die Zeit zeigen. Die Effizienzbefunde des Papers (Tutoren bewältigen mehr Gespräche) sind anekdotisch und beruhen auf einer informellen Simulation.
- Das Paper sagt, 74,4 % der Entwürfe seien ganz ohne Änderungen angenommen worden; 76,4 % ist der Anteil ohne oder mit minimalen Änderungen. Google hat die Lehrfähigkeiten von LearnLM inzwischen in Gemini aufgenommen und empfiehlt Gemini 2.5 Pro für die Replikation.
- Der Studienzeitraum stammt aus dem Text des Papers (Mai bis Juni 2025). Die arXiv-Version trägt das Datum 29. Dezember 2025.
Quellen
- AI tutoring can safely and effectively support students: An exploratory RCT in UK classrooms
arXiv, LearnLM Team Google and Eedi · 2025-12-29 · Forschungsarbeit · arxiv.org
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.