La Retroalimentación de GPT-3.5 Aumenta la Revisión de Textos y la Motivación — Un Ensayo Aleatorizado con Estudiantes Alemanes de Secundaria

Investigadores del IPN – Leibniz Institute for Science and Mathematics Education, en Kiel, Alemania, realizaron un ensayo controlado aleatorizado para comprobar si la retroalimentación generada por un modelo de lenguaje de gran tamaño ayuda a los estudiantes de secundaria a revisar su escritura.
459 estudiantes de 10.º grado en escuelas de la vía académica, que estudiaban inglés como lengua extranjera, escribieron ensayos argumentativos. En la condición experimental, los estudiantes revisaron sus textos usando retroalimentación generada por GPT-3.5-turbo y ajustada a principios de retroalimentación basados en evidencia, mientras que el grupo de control revisó sin esta retroalimentación de IA. La calidad de la revisión se evaluó mediante puntuación automática de ensayos, junto con medidas autoinformadas de motivación y emoción.
Publicado en Computers and Education: Artificial Intelligence (diciembre de 2023), el ensayo encontró que el grupo con retroalimentación de IA logró un mejor desempeño en la revisión de texto (d de Cohen = 0,19), mayor motivación por la tarea (d = 0,36) y más emociones positivas (d = 0,34) que el grupo de control sin retroalimentación. Estos son efectos pequeños a moderados de un ECA en una sola escuela y una sola asignatura — evidencia real pero limitada, que debe leerse como una prueba de concepto inicial y no como un sistema ya funcionando a gran escala.