evidoria

← Volver al listado

Buena práctica Importada

Retroalimentación de escritura crítica asistida por IA generativa — un ensayo controlado aleatorizado doble ciego en la Universidad de Fudan

China · Shanghai · Ver el perfil de China · Ver el perfil de Shanghai

Evidencia: Ensayo controlado aleatorizado Top 82% 33/100 · Pregunte a Evidence Copilot sobre esta práctica

Un ensayo controlado aleatorizado pre-post, doble ciego, con 259 estudiantes de la Universidad de Fudan, encontró que un sistema de retroalimentación con IA basado en un modelo Qwen ajustado mejoró significativamente la calidad de la escritura crítica frente a la retroalimentación exclusiva de docentes, con las mayores ganancias en la organización de los textos (β=0,311, p<0,001).

259 undergraduates
Tamaño de la muestra del estudio
125 students
Tamaño del grupo de tratamiento
134 students
Tamaño del grupo de control
β=0.149, p<0.001
Efecto global del tratamiento sobre el desempeño en escritura
β=0.311, p<0.001
Efecto en la organización del ensayo
β=0.191, p<0.001
Efecto en el desarrollo del contenido
4 weeks
Duración de la intervención

Detalles

Madurez
Piloto
Promotor
Fudan University — Informatization Office
Período
2024–2025
Palabras clave
Higher education, writing instruction, AI feedback systems

Contexto

Investigadores de la Oficina de Informatización de la Universidad de Fudan realizaron un ensayo controlado aleatorizado, doblemente ciego, con diseño antes/después, con 259 estudiantes de grado elegibles (125 en el grupo de tratamiento, 134 en el grupo de control), seleccionados por tener dominio nativo del mandarín, competencia intermedia en inglés (CET-4 425-550) y ninguna experiencia previa con herramientas de escritura asistidas por IA.

Objetivos

El ensayo evaluó si la retroalimentación generada por IA podía mejorar la calidad de la escritura crítica de los estudiantes de grado, en comparación con la retroalimentación tradicional dada exclusivamente por el docente.

Actividades

El grupo de tratamiento recibió retroalimentación de un modelo Qwen-7B-Chat afinado (fine-tuned) y personalizado para la evaluación de la escritura académica, a lo largo de una intervención de cuatro semanas; el grupo de control recibió la retroalimentación tradicional dada exclusivamente por el docente.

Resultados

Mediante análisis de diferencias en diferencias y modelización de ecuaciones estructurales, el estudio encontró un efecto global significativo de tratamiento por tiempo sobre el desempeño en escritura (β=0,149, p<0,001). Los efectos fueron más fuertes en la organización del ensayo (β=0,311, p<0,001) y en el desarrollo del contenido (β=0,191, p<0,001), con ganancias menores pero significativas en el uso del idioma (β=0,070, p<0,05) y en la motivación de escritura autoinformada (β=0,077, p<0,05). Un análisis de la vía de aceptación tecnológica vinculó además la facilidad de uso percibida con la utilidad percibida (β=0,326, p<0,001) y la utilidad/actitud con el uso real del sistema (β=0,431, p<0,001).

Conclusiones

El ensayo se realizó en una sola institución durante un único ciclo de cuatro semanas, por lo que aún no se dispone de evidencia sobre la durabilidad o la transferencia de los resultados más allá de esta cohorte y este curso; el propio estudio no reporta ninguna implementación a escala de aula más allá del ensayo.

Implementación
Coste indicativo
Bajo (< 50 000 €)
Tiempo hasta resultados
Corto (< 1 año)
Personal y competencias
Fudan University Informatization Office (research team)

Condiciones para el éxito

  • Fine-tuned domain-specific LLM (Qwen-7B-Chat) rather than a generic model
  • Rigorous eligibility screening and randomisation protocol
  • Double-blind trial design to reduce bias

¿Usted implementa esta práctica? Reivindíquela — los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.

Fuentes de datos

De dónde se obtuvo la información de esta práctica, y cuándo.

Prácticas similares que pueden serle útiles