Write & Improve en SDU University — Un Ensayo en Aula en Kazajistán que Compara Retroalimentación de IA y de Docentes

SDU University, una universidad privada de Almaty, Kazajistán, llevó a cabo un estudio cuasiexperimental que comparó la retroalimentación de escritura generada por IA con la retroalimentación tradicional de profesores, para estudiantes de primer año de su programa de formación de profesores de dos lenguas extranjeras (TFL). La herramienta de IA utilizada fue Write & Improve, una plataforma gratuita desarrollada por Cambridge University Press & Assessment a partir de un corpus de aprendices anotado con errores de 30 millones de palabras, que puntúa la escritura según el MCER y ofrece retroalimentación sobre contenido, coherencia, recursos léxicos y gramática/precisión. Cuatro profesores impartieron cada uno una clase de control con retroalimentación tradicional y una clase experimental solo con retroalimentación de Write & Improve, abarcando ocho grupos y 134 estudiantes (117 mujeres, 17 hombres).

El estudio se propuso comprobar si la retroalimentación generada por IA de Write & Improve podía igualar a la retroalimentación de los profesores en el apoyo al desarrollo de la escritura de los profesores en formación en tareas de tipo IELTS. También buscó determinar, mediante una comparación controlada en el aula, si la herramienta de IA podía servir como un complemento escalable y viable a la retroalimentación humana en aulas grandes o con pocos recursos.

Durante cinco semanas, de finales de octubre a finales de noviembre de 2024, los 134 estudiantes realizaron semanalmente tareas de escritura de tipo IELTS con pre- y post-pruebas, recibiendo retroalimentación de IA de Write & Improve o retroalimentación de su profesor. Los investigadores utilizaron pruebas de Mann-Whitney U para confirmar la equivalencia de los grupos al inicio y, después, una MANCOVA de un factor para comparar las puntuaciones de la post-prueba en logro de la tarea, coherencia y cohesión, recursos léxicos y gramática y precisión entre las clases emparejadas de los cuatro profesores.

En las clases de los cuatro profesores y en la muestra combinada de 134 estudiantes, la MANCOVA no encontró ninguna diferencia global estadísticamente significativa entre la retroalimentación de IA y la del profesor en ninguna de las cuatro dimensiones de escritura evaluadas. La clase de un profesor mostró un efecto multivariante significativo, aparentemente impulsado por el logro de la tarea, pero las pruebas de seguimiento no encontraron diferencias específicas por dimensión. El seguimiento longitudinal a lo largo de tres trabajos adicionales mostró tendencias de puntuación fluctuantes e inconsistentes en ambos grupos.

Los autores concluyeron que Write & Improve rindió tan bien como, pero no mejor que, la retroalimentación de profesores formados, respaldando su uso como complemento escalable para aulas grandes o con pocos recursos en lugar de como una mejora demostrada frente a la enseñanza humana. Señalaron como limitación la muestra pequeña y de una sola institución, el hecho de que algunos profesores consideraran la herramienta poco personalizable y se mostraran reacios a confiar en ella, y el hecho de que el estudio señalara un riesgo no resuelto relacionado con la falta de atención de los estudiantes a las normas éticas al usar herramientas de escritura con IA.