L'évaluation automatisée de l'écriture avec Grammarly améliore les résultats en anglais langue étrangère dans un essai randomisé de 190 étudiants à Tangshan, en Chine

Des chercheurs de la Faculté des langues étrangères de l'Université normale de Tangshan ont réparti aléatoirement 190 étudiants chinois de niveau intermédiaire en anglais langue étrangère (95 dans le groupe expérimental, 95 dans le groupe témoin) dans un programme d'écriture extrascolaire de 12 semaines. Le groupe expérimental a utilisé Grammarly, un outil commercial d'évaluation automatisée de l'écriture (AWE) basé sur l'IA, en complément de leur cursus habituel ; le groupe témoin n'a reçu que l'enseignement standard.
La qualité de l'écriture a été notée par des évaluateurs indépendants (kappa de Cohen = 0,82) selon quatre dimensions alignées sur l'IELTS, avant et après l'intervention. Le groupe Grammarly a montré des gains statistiquement significatifs par rapport au groupe témoin sur chaque dimension : réalisation de la tâche (B=0,38, p=,044), cohérence et cohsion (B=0,46, p=,036), ressources lexicales (B=0,55, p=,009) et précision grammaticale (B=0,74, p=,003), avec une variance expliquée (R²) allant de 0,28 à 0,46. L'auto-efficacité en écriture s'est également révélée un prédicteur significatif des gains, et les auteurs signalent les améliorations les plus importantes chez les apprenants ayant démarré à des niveaux de compétence plus faibles.
L'essai se limite à un seul établissement et à un cours d'écriture extrascolaire (non créditant), et il évalue un outil commercial tiers plutôt qu'un système conçu par l'établissement — l'étude ne décrit pas les garanties de protection des données pour la plateforme d'IA, ni aucune composante de formation des enseignants, l'intervention étant entièrement destinée aux étudiants.