Pigai — La Plateforme Chinoise de Retour d'Écriture par IA à Grande Échelle : Portée Réelle, Preuves Mitigées

Pigai (commercialisé à l'international sous le nom de Jukuu English Essay Assessor) est une plateforme d'évaluation automatisée de l'écriture (AWE) lancée en 2011 par une entreprise de technologie éducative basée à Pékin (identifiée dans la littérature académique comme Beijing Word Network Technology Co., Ltd.). Elle note les dissertations en anglais selon une grille en quatre parties — vocabulaire (43 %), structure des phrases (28 %), organisation (22 %) et contenu (7 %) — combinant des algorithmes de détection d'erreurs avec des modèles statistiques du langage, et renvoie un retour en quelques secondes afin que les élèves puissent réviser avant même qu'un enseignant ne voie le brouillon.

Les chiffres d'adoption rapportés indépendamment dans les sources académiques varient mais convergent vers une très grande échelle : le site de Pigai indique lui-même être utilisé par plus de 1 000 écoles, tandis que la littérature évaluée par des pairs cite des chiffres allant d'environ 6 000 à plus de 13 000 écoles et universités et plus de 13 à 20 millions d'élèves, avec un total cumulé dépassant 200 millions de dissertations notées.

Les évaluations indépendantes évaluées par des pairs dressent un tableau mitigé plutôt qu'un succès uniforme. Des études sur des apprenants chinois d'anglais langue étrangère ont montré que Pigai améliore de façon fiable la précision grammaticale et augmente la fréquence de révision, et une étude quasi-expérimentale a rapporté une amélioration statistiquement significative du score de grammaire dans le groupe Pigai par rapport à un groupe témoin recevant uniquement un retour de l'enseignant. Cependant, une revue méthodologique de 2022 (publiée dans Frontiers in Psychology) a constaté que le retour de Pigai se limite largement à la mécanique au niveau de la phrase et manque les erreurs dépendantes du sens — par exemple, il ne signale pas de façon fiable un verbe modal grammaticalement correct mais sémantiquement erroné. Une étude de classe distincte a constaté que l'ajout du retour de Pigai à un retour entre pairs ne produisait pas de révisions de meilleure qualité que le retour entre pairs seul, et seule la grammaire montrait une différence significative entre groupes, contrairement à l'organisation et au contenu. Pigai illustre ainsi bien un outil d'évaluation par IA largement déployé dont le bénéfice réel en classe est plus étroit que son échelle d'adoption ne le suggérerait.