Audit de biais à Stanford — les détecteurs de GPT classent comme IA les dissertations de non-anglophones

Des chercheurs de l'université Stanford (groupe de James Zou) ont testé sept détecteurs de GPT très utilisés sur 91 rédactions TOEFL écrites par des humains non anglophones natifs et sur des rédactions d'élèves américains de 8e année, locuteurs natifs. Les détecteurs ont classé presque parfaitement les textes natifs, mais ont étiqueté à tort plus de la moitié des textes TOEFL comme générés par IA ; l'un d'eux en a signalé environ 98 %. Environ 19 % des textes TOEFL ont été unanimement mal classés par les sept détecteurs, et 97 % ont été signalés par au moins un.
Les auteurs attribuent ce biais à une notation fondée sur la perplexité : un vocabulaire et une syntaxe plus simples, fréquents chez les non-natifs, paraissent « machiniques ». Ils ont aussi montré qu'en demandant à ChatGPT d'enrichir le vocabulaire, un texte d'IA échappait aux détecteurs : les outils sont donc biaisés et faciles à tromper.
Publié dans Patterns (Cell Press, juillet 2023), l'étude recommande une extrême prudence avant d'utiliser ces détecteurs en classe, en admission ou en recrutement. Limites : échantillon TOEFL modeste et détecteurs de 2023 ; pas de test d'outils plus récents ni de mesure des acquis. Elle a depuis étayé des décisions d'établissements de désactiver les scores de détection d'IA et de repenser l'évaluation.