evidoria

← Retour à la liste

Bonne pratique Importée

Retour d'écriture critique assisté par IA générative — un essai contrôlé randomisé en double aveugle à l'université de Fudan

Chine · Shanghai · Voir le profil de Chine · Voir le profil de Shanghai

Preuves: Essai contrôlé randomisé Top 82% 33/100 · Demandez à Evidence Copilot à propos de cette pratique

Un essai contrôlé randomisé pré-post en double aveugle, mené auprès de 259 étudiants de l'université de Fudan, a montré qu'un système de retour d'IA basé sur un modèle Qwen affiné améliorait significativement la qualité de l'écriture critique par rapport au seul retour des enseignants, avec les gains les plus importants sur l'organisation des textes (β=0,311, p<0,001).

259 undergraduates
Taille de l'échantillon de l'étude
125 students
Taille du groupe traitement
134 students
Taille du groupe témoin
β=0.149, p<0.001
Effet global du traitement sur la performance en écriture
β=0.311, p<0.001
Effet sur l'organisation de la dissertation
β=0.191, p<0.001
Effet sur le développement du contenu
4 weeks
Durée de l'intervention

Détails

Maturité
Pilote
Promoteur
Fudan University — Informatization Office
Période
2024–2025
Mots-clés
Higher education, writing instruction, AI feedback systems

Contexte

Des chercheurs du Bureau d'informatisation de l'Université Fudan ont mené un essai contrôlé randomisé en double aveugle, avec mesures avant/après, portant sur 259 étudiants de premier cycle éligibles (125 dans le groupe traitement, 134 dans le groupe témoin), sélectionnés pour leur maîtrise native du mandarin, leur compétence intermédiaire en anglais (CET-4 425-550) et l'absence d'expérience préalable des outils d'écriture assistés par IA.

Objectifs

L'essai a testé si un retour généré par IA pouvait améliorer la qualité de l'écriture critique des étudiants de premier cycle, par rapport au retour traditionnel donné uniquement par un enseignant.

Activités

Le groupe traitement a reçu un retour d'un modèle Qwen-7B-Chat affiné (fine-tuned) et personnalisé pour l'évaluation de l'écriture académique, sur une intervention de quatre semaines ; le groupe témoin a reçu le retour traditionnel donné uniquement par un enseignant.

Résultats

À l'aide d'une analyse en différence de différences et d'une modélisation par équations structurelles, l'étude a constaté un effet global significatif du traitement dans le temps sur la performance en écriture (β=0,149, p<0,001). Les effets étaient les plus marqués sur l'organisation de la dissertation (β=0,311, p<0,001) et le développement du contenu (β=0,191, p<0,001), avec des gains plus modestes mais significatifs sur l'usage de la langue (β=0,070, p<0,05) et la motivation à l'écriture autodéclarée (β=0,077, p<0,05). Une analyse du parcours d'acceptation technologique a par ailleurs relié la facilité d'utilisation perçue à l'utilité perçue (β=0,326, p<0,001) et l'utilité/l'attitude à l'usage réel du système (β=0,431, p<0,001).

Conclusions

L'essai a été mené dans un seul établissement sur un seul cycle de quatre semaines, de sorte qu'aucune preuve de durabilité ou de transfert au-delà de cette cohorte et de ce cours n'est encore disponible ; l'étude elle-même ne mentionne aucun déploiement à l'échelle de la classe au-delà de l'essai.

Mise en œuvre
Coût indicatif
Faible (< 50 k€)
Délai jusqu’aux résultats
Court (< 1 an)
Personnel et compétences
Fudan University Informatization Office (research team)

Conditions de réussite

  • Fine-tuned domain-specific LLM (Qwen-7B-Chat) rather than a generic model
  • Rigorous eligibility screening and randomisation protocol
  • Double-blind trial design to reduce bias

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pratiques similaires qui pourraient vous être utiles