Macro Buddy — Un tutor de IA socrático combinado con grupos de estudio entre pares mejora las notas de macroeconomía en el pregrado

Los estudiantes universitarios de macroeconomía a menudo resuelven series de problemas solos o en grupos de estudio, sin que el profesor pueda estar presente en cada sesión; docentes de dos universidades estadounidenses probaron si un tutor de IA diseñado a medida podía sustituir parte de esa orientación ausente.

Probar si un tutor de IA de estilo socrático, hecho a medida y restringido a los materiales del curso, podía mejorar el rendimiento en los exámenes, solo o combinado con grupos de estudio entre pares, sin simplemente dar las respuestas.

Investigadores de la Universidad de Wisconsin-La Crosse y de la Appalachian State University crearon 'Macro Buddy', una herramienta personalizada basada en ChatGPT, entrenada únicamente con las transcripciones de clases, diapositivas y preguntas de tareas del propio curso, con el acceso general a internet desactivado, respondiendo con preguntas de seguimiento de estilo socrático en lugar de respuestas directas. En un ensayo aleatorizado, 140 estudiantes de cuatro secciones del curso fueron asignados a una de cuatro condiciones: estudio individual, estudio en grupo, estudio individual con Macro Buddy, o estudio en grupo con Macro Buddy.

Las puntuaciones del segundo examen descendieron en los cuatro grupos. Para el tercer examen, varias semanas después, la condición combinada (discusión entre pares más Macro Buddy) obtuvo la puntuación más alta, los usuarios individuales de Macro Buddy superaron a los estudiantes que trabajaban solos sin IA, y la condición solo de grupo (sin IA) mostró las menores ganancias.

Los autores señalan que el estudio abarcó un solo curso en una única institución, lo que limita la generalización de los resultados, pero diseñaron deliberadamente la herramienta, de bajo costo y sin necesidad de programación, para que otros docentes pudieran replicarla.