evidoria

← Retour à la liste

Bonne pratique Importée

L'évaluation automatisée de l'écriture avec Grammarly améliore les résultats en anglais langue étrangère dans un essai randomisé de 190 étudiants à Tangshan, en Chine

Chine · Tangshan · Voir le profil de Chine

Preuves: Essai contrôlé randomisé Top 40% 53/100 · Demandez à Evidence Copilot à propos de cette pratique

Un essai contrôlé randomisé de 12 semaines mené auprès de 190 étudiants chinois d'anglais langue étrangère montre que l'évaluation automatisée de l'écriture avec Grammarly améliore significativement la réalisation de la tâche, la cohérence, le lexique et la grammaire par rapport à l'enseignement standard, avec les plus grands gains chez les rédacteurs de niveau plus faible.

190 students (95 / 95)
Taille de l'echantillon (experimental / temoin) (2023)
B=0.38, p=.044
Gain en realisation de la tache
B=0.46, p=.036
Gain en coherence et cohesion
B=0.55, p=.009
Gain en ressources lexicales
B=0.74, p=.003
Gain en exactitude grammaticale
0.28-0.46
Intervalle de variance expliquee (R-carre)
Cohen's kappa = 0.82
Fiabilite inter-evaluateurs

Détails

Promoteur
Tangshan Normal University, School of Foreign Languages
Période
2023
Mots-clés
higher education, English as a Foreign Language (EFL), automated writing evaluation, edtech

Contexte

Des chercheurs de l'ecole des langues etrangeres de l'Universite normale de Tangshan ont mene un essai controle randomise de 12 semaines aupres de 190 etudiants chinois de niveau intermediaire en anglais langue etrangere (ALE), comparant un outil commercial d'evaluation automatique de l'ecriture (AAE) fonde sur l'IA a un enseignement standard.

Objectifs

Tester si l'evaluation automatique de l'ecriture basee sur Grammarly ameliore la qualite de l'ecriture en ALE - realisation de la tache, coherence et cohesion, ressources lexicales et exactitude grammaticale - par rapport a un enseignement standard seul.

Activités

190 etudiants ont ete repartis aleatoirement dans un groupe experimental (95 etudiants, utilisant Grammarly en complement de leurs cours habituels) ou un groupe temoin (95 etudiants, enseignement standard uniquement) pendant un programme d'ecriture extra-scolaire de 12 semaines, non credite. La qualite de l'ecriture a ete evaluee par des correcteurs independants (kappa de Cohen = 0,82) selon quatre dimensions alignees sur l'IELTS, avant et apres l'intervention.

Résultats

Le groupe Grammarly a montre des gains statistiquement significatifs par rapport au groupe temoin sur chaque dimension : realisation de la tache (B=0,38, p=,044), coherence et cohesion (B=0,46, p=,036), ressources lexicales (B=0,55, p=,009) et exactitude grammaticale (B=0,74, p=,003), avec une variance expliquee (R-carre) allant de 0,28 a 0,46. Les auteurs rapportent les plus fortes ameliorations chez les apprenants ayant un niveau de competence initial plus faible, et l'auto-efficacite en ecriture s'est egalement revelee un predicteur significatif des gains.

Conclusions

L'essai fournit des preuves solides, issues d'un ECR mene dans un seul etablissement, qu'un outil commercial d'AAE peut ameliorer la qualite de l'ecriture en ALE, en particulier pour les redacteurs les plus faibles, mais il se limite a un seul etablissement et a un cours extra-scolaire non credite, evalue un outil commercial tiers plutot qu'un systeme developpe par l'etablissement lui-meme, et ne rapporte ni garanties de protection des donnees ni composante de formation des enseignants.

Mise en œuvre
Coût indicatif
Faible (< 50 k€) — Grammarly is a low-cost/freemium commercial subscription tool.
Délai jusqu’aux résultats
Court (< 1 an) — 12-week extracurricular intervention (2023 study).
Personnel et compétences
researchers and course facilitators at Tangshan Normal University, independent raters for writing assessment

Conditions de réussite

  • sustained 12-week engagement with the AWE tool alongside regular coursework
  • independent, reliable rating of writing samples (kappa=0.82) to measure gains

Modes d’échec courants

  • single institution and an extracurricular, not-for-credit context limit generalisability
  • no data-protection safeguards for the third-party commercial platform were reported
  • no teacher-training component since the intervention was entirely student-facing

Où cela s’applique

Type de gouvernance
university research study
Échelle
single university, one course

Habituellement financé par

Horizon Europe

Pistes de financement indicatives pour des pratiques de ce type — vérifiez toujours les appels en cours et les règles d'éligibilité de chaque programme.

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pratiques similaires qui pourraient vous être utiles