La evaluación automatizada de escritura con Grammarly mejora las notas de inglés como lengua extranjera en un ECA con 190 estudiantes en Tangshan, China

Investigadores de la Facultad de Lenguas Extranjeras de la Universidad Normal de Tangshan asignaron aleatoriamente a 190 estudiantes chinos de nivel intermedio de inglés como lengua extranjera (95 en el grupo experimental, 95 en el grupo control) a un programa extracurricular de escritura de 12 semanas. El grupo experimental utilizó Grammarly, una herramienta comercial de evaluación automática de escritura (AWE) basada en IA, junto con su curso habitual; el grupo control recibió solo la enseñanza estándar.
La calidad de la escritura fue calificada por evaluadores independientes (kappa de Cohen = 0,82) en cuatro dimensiones alineadas con el IELTS, antes y después de la intervención. El grupo Grammarly mostró ganancias estadísticamente significativas frente al grupo control en todas las dimensiones: logro de la tarea (B=0,38, p=,044), coherencia y cohesión (B=0,46, p=,036), léxico (B=0,55, p=,009) y precisión gramatical (B=0,74, p=,003), con varianza explicada (R²) entre 0,28 y 0,46. La autoeficacia en la escritura también resultó ser un predictor significativo de las ganancias, y los autores informan de las mayores mejoras entre los estudiantes que comenzaron con niveles de competencia más bajos.
El ensayo se limita a una sola institución y a un curso de escritura extracurricular (sin créditos), y evalúa una herramienta comercial de terceros en lugar de un sistema desarrollado por la institución; el estudio no describe salvaguardas de protección de datos para la plataforma de IA ni ningún componente de formación docente, ya que la intervención estuvo dirigida enteramente a los estudiantes.