Write & Improve à SDU University — Un essai en classe au Kazakhstan comparant retour d'IA et retour d'enseignant

SDU University, une université privée d'Almaty, au Kazakhstan, a mené une étude quasi-expérimentale comparant le retour d'écriture généré par IA au retour traditionnel des enseignants, pour des étudiants de première année de son programme de formation d'enseignants en deux langues étrangères (TFL). L'outil d'IA utilisé était Write & Improve, une plateforme gratuite développée par Cambridge University Press & Assessment à partir d'un corpus d'apprenants annoté en erreurs de 30 millions de mots, qui note l'écriture selon le CECR et fournit un retour sur le contenu, la cohérence, les ressources lexicales et la grammaire/précision. Quatre enseignants ont chacun animé une classe témoin avec retour traditionnel et une classe expérimentale avec uniquement le retour de Write & Improve, soit huit groupes et 134 étudiants (117 femmes, 17 hommes).

L'étude visait à tester si le retour généré par IA de Write & Improve pouvait égaler le retour des enseignants pour soutenir le développement de l'écriture des enseignants stagiaires sur des tâches de type IELTS. Elle visait également à déterminer, via une comparaison contrôlée en classe, si l'outil d'IA pouvait constituer un complément évolutif et viable au retour humain dans des classes nombreuses ou disposant de peu de ressources.

Sur cinq semaines, de fin octobre à fin novembre 2024, les 134 étudiants ont réalisé chaque semaine des tâches d'écriture de type IELTS avec pré- et post-tests, recevant soit le retour d'IA de Write & Improve, soit le retour de leur enseignant. Les chercheurs ont utilisé des tests de Mann-Whitney U pour confirmer l'équivalence des groupes au départ, puis une MANCOVA à un facteur pour comparer les scores post-test sur la réalisation de la tâche, la cohérence et la cohésion, les ressources lexicales et la grammaire et la précision entre les classes appariées des quatre enseignants.

Dans les classes des quatre enseignants et sur l'échantillon combiné de 134 étudiants, la MANCOVA n'a trouvé aucune différence globale statistiquement significative entre le retour d'IA et le retour de l'enseignant sur aucune des quatre dimensions d'écriture évaluées. La classe d'un enseignant a présenté un effet multivarié significatif, apparemment lié à la réalisation de la tâche, mais les tests de suivi n'ont trouvé aucune différence spécifique par dimension. Le suivi longitudinal sur trois travaux supplémentaires a montré des tendances de scores fluctuantes et incohérentes dans les deux groupes.

Les auteurs ont conclu que Write & Improve avait des performances aussi bonnes, mais pas meilleures, que le retour d'enseignants formés, soutenant son utilisation comme complément évolutif pour des classes nombreuses ou peu dotées en ressources plutôt que comme une amélioration prouvée par rapport à l'enseignement humain. Ils ont souligné comme limite l'échantillon restreint et provenant d'un seul établissement, le fait que certains enseignants aient jugé l'outil insuffisamment personnalisable et se soient montrés réticents à s'y fier, et le fait que l'étude ait signalé un risque non résolu lié au manque d'attention des étudiants aux normes éthiques lors de l'utilisation d'outils d'écriture par IA.