Escuelas de Tennessee prueban el tutor de IA Khanmigo de Khan Academy en un ensayo de dos años: pequeñas mejoras, poco uso

El problema

A las escuelas les cuesta dar a los alumnos con dificultades en matemáticas la ayuda individual que mejor funciona, porque la tutoría humana es cara y difícil de dotar de personal. Hamilton County Schools, en Tennessee, ya tenía bloques diarios de refuerzo de matemáticas para alumnos por debajo de su nivel. La pregunta era si un tutor de IA dentro de esos bloques podía aportar aprendizaje a bajo coste.

Qué construyeron

Los alumnos usaron la práctica de Khan Academy junto con Khanmigo, un tutor de IA configurado para guiar con preguntas en lugar de dar las respuestas. Estaba a un clic mientras los alumnos trabajaban cada problema. Los cursos de control siguieron con clases de refuerzo ordinarias, que combinaban práctica guiada por el profesorado con otro software de matemáticas sin tutor de IA.

Cómo lo hicieron

Los economistas Philip Oreopoulos y Nina Low realizaron un ensayo aleatorizado por conglomerados. En cada una de las 18 escuelas de secundaria, uno o dos de los tres cursos se asignaron al azar a la versión con IA. Los resultados se midieron con la prueba de referencia MAP del distrito a lo largo de cinco trimestres en los dos cursos escolares. El equipo también analizó los mensajes de chat del segundo año para ver cómo usaban el tutor los alumnos.

Resultados

Ser asignado al tutor de IA elevó las notas de matemáticas en 1,3 puestos percentiles nacionales por trimestre (alrededor de 0,06 a 0,08 desviaciones típicas a lo largo de un curso escolar). Los autores dicen que esto se parece a lo que logra la práctica en Khan Academy sin IA. Casi todos los alumnos (96 %) probaron Khanmigo, pero el alumno mediano le escribió solo un tercio de los días de práctica y en el 17 % de las sesiones en las que cometía un error. Los alumnos asignados al tutor hicieron unos 30 minutos más de práctica semanal. Sal Khan, fundador de Khan Academy, dijo a Hechinger que los resultados coincidían con las observaciones de la propia empresa.

Qué salió mal

La participación fue el punto débil. La mayoría de los mensajes al tutor eran respuestas sueltas o clics en sugerencias, y solo alrededor de uno de cada siete mensajes contenía una pregunta de matemáticas o un paso de razonamiento. Los autores concluyen que lograr que los alumnos usen un tutor de IA importa más que darles acceso.