evidoria

← Volver al listado

Buena práctica Importada

La evaluación automatizada de escritura con Grammarly mejora las notas de inglés como lengua extranjera en un ECA con 190 estudiantes en Tangshan, China

China · Tangshan · Ver el perfil de China

Evidencia: Ensayo controlado aleatorizado Top 40% 53/100 · Pregunte a Evidence Copilot sobre esta práctica

Un ensayo controlado aleatorizado de 12 semanas con 190 estudiantes universitarios chinos de inglés como lengua extranjera encontró que la evaluación automática de escritura con Grammarly mejoró significativamente el logro de la tarea, la coherencia, el léxico y la gramática frente a la enseñanza estándar, con las mayores ganancias en los escritores de menor nivel.

190 students (95 / 95)
Tamano de la muestra (experimental / control) (2023)
B=0.38, p=.044
Mejora en el logro de la tarea
B=0.46, p=.036
Mejora en coherencia y cohesion
B=0.55, p=.009
Mejora en recursos lexicos
B=0.74, p=.003
Mejora en correccion gramatical
0.28-0.46
Rango de varianza explicada (R-cuadrado)
Cohen's kappa = 0.82
Fiabilidad entre evaluadores

Detalles

Promotor
Tangshan Normal University, School of Foreign Languages
Período
2023
Palabras clave
higher education, English as a Foreign Language (EFL), automated writing evaluation, edtech

Contexto

Investigadores de la Escuela de Lenguas Extranjeras de la Universidad Normal de Tangshan realizaron un ensayo controlado aleatorizado de 12 semanas con 190 estudiantes chinos de nivel intermedio de ingles como lengua extranjera (ILE), comparando una herramienta comercial de evaluacion automatica de la escritura (AAE) basada en IA con la ensenanza estandar.

Objetivos

Comprobar si la evaluacion automatica de la escritura basada en Grammarly mejora la calidad de la escritura en ILE -logro de la tarea, coherencia y cohesion, recursos lexicos y correccion gramatical- en comparacion con la ensenanza estandar por si sola.

Actividades

190 estudiantes fueron asignados aleatoriamente a un grupo experimental (95 estudiantes, usando Grammarly junto a sus clases habituales) o a un grupo de control (95 estudiantes, solo ensenanza estandar) durante un programa extracurricular de escritura de 12 semanas, sin creditos academicos. La calidad de la escritura fue puntuada por evaluadores independientes (kappa de Cohen = 0,82) segun cuatro dimensiones alineadas con el IELTS, antes y despues de la intervencion.

Resultados

El grupo Grammarly mostro mejoras estadisticamente significativas frente al grupo de control en todas las dimensiones: logro de la tarea (B=0,38, p=,044), coherencia y cohesion (B=0,46, p=,036), recursos lexicos (B=0,55, p=,009) y correccion gramatical (B=0,74, p=,003), con una varianza explicada (R-cuadrado) de entre 0,28 y 0,46. Los autores reportan las mayores mejoras entre los alumnos que partian de un nivel de competencia mas bajo, y la autoeficacia en la escritura tambien fue un predictor significativo de las ganancias.

Conclusiones

El ensayo aporta evidencia solida de un ECA en una sola institucion de que una herramienta comercial de AAE puede mejorar la calidad de la escritura en ILE, especialmente para los escritores mas debiles, pero se limita a una institucion y a un curso extracurricular sin creditos, evalua una herramienta comercial de terceros en lugar de un sistema desarrollado por la propia institucion, y no reporta salvaguardas de proteccion de datos ni ningun componente de formacion docente.

Implementación
Coste indicativo
Bajo (< 50 000 €) — Grammarly is a low-cost/freemium commercial subscription tool.
Tiempo hasta resultados
Corto (< 1 año) — 12-week extracurricular intervention (2023 study).
Personal y competencias
researchers and course facilitators at Tangshan Normal University, independent raters for writing assessment

Condiciones para el éxito

  • sustained 12-week engagement with the AWE tool alongside regular coursework
  • independent, reliable rating of writing samples (kappa=0.82) to measure gains

Modos de fallo comunes

  • single institution and an extracurricular, not-for-credit context limit generalisability
  • no data-protection safeguards for the third-party commercial platform were reported
  • no teacher-training component since the intervention was entirely student-facing

Dónde encaja

Tipo de gobernanza
university research study
Escala
single university, one course

Habitualmente financiado por

Horizon Europe

Vías de financiación indicativas para prácticas de este tipo: compruebe siempre las convocatorias vigentes y las reglas de elegibilidad de cada programa.

¿Usted implementa esta práctica? Reivindíquela — los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.

Fuentes de datos

De dónde se obtuvo la información de esta práctica, y cuándo.

Prácticas similares que pueden serle útiles