Le retour du GPT-3.5 améliore la révision de texte et la motivation — Un essai randomisé avec des lycéens allemands

Des chercheurs de l'IPN – Leibniz Institute for Science and Mathematics Education, à Kiel en Allemagne, ont mené un essai contrôlé randomisé pour tester si un retour généré par un grand modèle de langage aide les lycéens à réviser leurs écrits.
459 élèves de seconde dans des établissements de filière générale, étudiant l'anglais langue étrangère, ont rédigé des essais argumentatifs. Dans la condition expérimentale, les élèves ont révisé leurs textes à l'aide d'un retour généré par GPT-3.5-turbo, calibré selon des principes de retour fondés sur des données probantes, tandis que le groupe témoin a révisé sans ce retour par IA. La qualité de la révision a été évaluée par notation automatique des essais, ainsi que par des mesures autodéclarées de motivation et d'émotion.
Publié dans Computers and Education: Artificial Intelligence (décembre 2023), l'essai a montré que le groupe avec retour par IA obtenait de meilleures performances de révision de texte (d de Cohen = 0,19), une motivation pour la tâche plus élevée (d = 0,36) et davantage d'émotions positives (d = 0,34) que le groupe témoin sans retour. Ce sont des effets faibles à modérés issus d'un essai randomisé dans un seul établissement et une seule matière — une preuve réelle mais limitée, à lire comme une preuve de concept initiale plutôt que comme un système déjà déployé à grande échelle.