Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
Eedi
Eedi y Google prueban LearnLM como ayuda de matemáticas supervisada por tutores para 165 estudiantes británicos
Eedi y Google probaron LearnLM, un modelo de IA ajustado para la educación, que redactaba mensajes de chat que tutores humanos revisaban antes de que los estudiantes los vieran, en cinco centros de secundaria del Reino Unido. Los tutores aprobaron el 76,4 % de los borradores sin ediciones o con ediciones mínimas. Los resultados posteriores de los estudiantes fueron similares a los obtenidos solo con tutores humanos, y la única ventaja aparente, en el tema siguiente, era estadísticamente incierta.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
76,4 %
Proporción de los mensajes redactados por LearnLM que los tutores supervisores aprobaron sin ediciones o con ediciones mínimas (cambiar uno o dos caracteres), sobre 3.617 mensajes redactados1
5
(0,1 %)
Errores factuales hallados en una revisión posterior al ensayo de las ediciones de los tutores, sobre 3.617 mensajes redactados (no se halló contenido dañino ni de riesgo)1
66,2 %
frente a 60,7 % (5,5 puntos porcentuales; intervalo de credibilidad del 95 % [-1,4 %, +12,4 %])
Estudiantes que respondieron correctamente la primera pregunta del tema siguiente: sesiones con apoyo de LearnLM frente a un tutor humano solo (resultado exploratorio)1
93,0 %
frente a 91,2 %
Estudiantes que acertaron en su segundo intento de la misma pregunta tras la tutoría: con apoyo de LearnLM frente a un tutor humano solo1
El problema
La tutoría individual ayuda a los estudiantes a aprender, pero cuesta demasiado para ofrecerla a la mayoría. Eedi, una plataforma británica de aprendizaje de matemáticas usada por cientos de centros de secundaria, ya ofrece pistas redactadas de antemano y ayuda por chat en directo de tutores humanos a distancia. La pregunta era si un modelo de IA generativa podía compartir la carga sin perjudicar a los estudiantes.
Qué construyeron
Eedi y Google añadieron LearnLM, un modelo de Google ajustado para la enseñanza, a la ayuda por chat de la plataforma. Cuando un estudiante fallaba una pregunta y empezaba una sesión de tutoría, la plataforma conectaba al estudiante al azar con un tutor humano solo o con LearnLM supervisado por un tutor humano. LearnLM escribía cada mensaje con un estilo de preguntas paso a paso pensado para que el estudiante encontrara su propio error. Un tutor leía cada mensaje y podía aprobarlo, editarlo o reescribirlo antes de enviarlo.
Cómo lo hicieron
El ensayo duró siete semanas, en mayo y junio de 2025, con 165 estudiantes de 13 a 15 años en cinco centros. Primero se asignó a los estudiantes al azar a pistas estáticas (91 estudiantes) o a tutoría (74 estudiantes). Participaron 17 tutores expertos, que alternaban entre hablar directamente con los estudiantes y supervisar a LearnLM durante las mismas clases. Los autores midieron los resultados con la actividad diaria normal de los estudiantes en la plataforma, por lo que no hicieron falta pruebas adicionales.
Resultados
De los 3.617 mensajes que redactó LearnLM, los tutores aceptaron el 74,4 % sin ediciones y el 76,4 % sin ediciones o con ediciones mínimas. Una revisión de los tutores no halló contenido dañino y sí cinco errores factuales. Los estudiantes ayudados por LearnLM respondieron correctamente el 93,0 % de los segundos intentos, frente al 91,2 % con un tutor humano solo. En la primera pregunta del tema siguiente acertaron el 66,2 % frente al 60,7 %, una diferencia de 5,5 puntos porcentuales con un amplio margen de incertidumbre de -1,4 % a +12,4 %. Los autores lo interpretan como al menos tan bueno como los tutores humanos, con una posible ventaja a la hora de trasladar lo aprendido a temas nuevos. Como el margen incluye el cero, considere la diferencia en el tema siguiente como no demostrada.
Qué salió mal
Los tutores dijeron que el estilo socrático constante de LearnLM podía frustrar a algunos estudiantes, y que los tutores humanos juzgan mejor cuándo apretar y cuándo aflojar. Alrededor del 19,5 % de las ediciones de los tutores ajustaban la personalidad o el tono que transmitía LearnLM.
Qué replicar
Si pilota IA en un entorno de alto riesgo, ponga a un revisor formado en cada salida, siga con qué frecuencia la modifica y compare con su proceso actual mediante asignación aleatoria.
Lecciones para su proyecto
Mantenga a una persona en el circuito en todo lo que vea un menor. Aquí un tutor revisaba cada mensaje de la IA y podía aprobarlo, editarlo o sustituirlo, y la tasa de edición se convierte en una medida de calidad que se puede seguir.
Aleatorice a nivel de sesión para que cada estudiante vea ambas opciones. Eedi lo usó para comparar la ayuda de la IA y la humana con los mismos estudiantes.
Mida el aprendizaje que se transfiere, no solo la corrección de la pregunta actual. La única diferencia entre la ayuda de la IA y la humana apareció en el tema siguiente, y era incierta.
Audite todo el conjunto de mensajes de la IA después del ensayo. Los tutores revisaron todas las ediciones y registraron cinco errores factuales y ningún contenido dañino.
Salvedades
- Es un ensayo aleatorizado exploratorio, comunicado como preimpresión por el equipo de LearnLM de Google y por Eedi, que construyeron el sistema. No está revisado por pares y no es un despliegue completo en producción.
- La mejora en el tema siguiente no es concluyente y no debe leerse como un beneficio demostrado. La diferencia de 5,5 puntos porcentuales en el éxito en el tema siguiente tiene un intervalo de credibilidad del 95 % de -1,4 % a +12,4 %, que incluye la ausencia de efecto. Los autores otorgan una credibilidad del 93,6 % a que LearnLM sea mejor; la diferencia en el segundo intento (93,0 % frente a 91,2 %) es pequeña.
- LearnLM siempre estuvo supervisado por un tutor humano que podía editar o sustituir sus mensajes. Los resultados describen la combinación, no la IA sola, y el artículo dice que los tutores pudieron adquirir técnicas de LearnLM que usaron en sus propias sesiones.
- El ensayo asignó las sesiones al azar dentro de los mismos estudiantes, por lo que no puede mostrar un aprendizaje acumulativo en el tiempo. Los hallazgos de eficiencia del artículo (tutores que atienden más conversaciones) son anecdóticos y proceden de una simulación informal.
- El artículo dice que el 74,4 % de los borradores se aceptó sin ninguna edición; el 76,4 % es la proporción sin ediciones o con ediciones mínimas. Google ha integrado desde entonces las capacidades didácticas de LearnLM en Gemini y recomienda Gemini 2.5 Pro para la replicación.
- Las fechas del ensayo proceden del texto del artículo (de mayo a junio de 2025). La versión de arXiv está fechada el 29 de diciembre de 2025.
Fuentes
- AI tutoring can safely and effectively support students: An exploratory RCT in UK classrooms
arXiv, LearnLM Team Google and Eedi · 2025-12-29 · Artículo de investigación · arxiv.org
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.