La Retroalimentación de GPT-3.5 Aumenta la Revisión de Textos y la Motivación — Un Ensayo Aleatorizado con Estudiantes Alemanes de Secundaria

Investigadores del IPN - Instituto Leibniz para la Educacion en Ciencias y Matematicas, en Kiel, Alemania, realizaron un ensayo controlado y aleatorizado para comprobar si el feedback generado por modelos de lenguaje de gran escala ayuda a los estudiantes de secundaria a revisar su escritura.

El ensayo evaluo si el feedback de GPT-3.5-turbo, ajustado a principios de retroalimentacion basados en evidencia, mejora la calidad de la revision de ensayos, la motivacion y la emocion en comparacion con no recibir feedback de IA.

459 estudiantes de 10º grado en centros de itinerario academico, que cursaban ingles como lengua extranjera, escribieron ensayos argumentativos; el grupo experimental reviso sus textos usando el feedback de GPT-3.5-turbo, mientras que el grupo de control reviso sin ese feedback. La calidad de la revision se puntuo mediante evaluacion automatica de ensayos, junto con medidas autoinformadas de motivacion y emocion.

El grupo con feedback de IA logro un mejor desempeno en la revision textual (d de Cohen = 0,19), mayor motivacion por la tarea (d = 0,36) y emociones positivas mas altas (d = 0,34) que el grupo de control sin feedback.

Se trata de efectos de tamano modesto a pequeno procedentes de un ECA de una sola escuela y una sola asignatura: evidencia real pero limitada, que debe leerse como una prueba de concepto inicial y no como un sistema que ya opera a escala.