Auditoría de sesgo en Stanford: los detectores de GPT marcan como IA los ensayos de hablantes no nativos de inglés

Investigadores de la Universidad de Stanford (grupo de James Zou) probaron siete detectores de GPT muy utilizados con 91 ensayos TOEFL escritos por humanos no nativos de inglés y con ensayos de alumnos estadounidenses de 8.º curso, hablantes nativos. Los detectores clasificaron casi a la perfección los textos nativos, pero etiquetaron erróneamente más de la mitad de los TOEFL como generados por IA; uno marcó cerca del 98 %. Alrededor del 19 % de los ensayos TOEFL fue clasificado erróneamente por unanimidad por los siete detectores, y el 97 % fue señalado por al menos uno.
Los autores atribuyen el sesgo a la puntuación basada en perplejidad: el vocabulario y la sintaxis más simples, habituales en escritores no nativos, parecen «de máquina». También mostraron que pedir a ChatGPT que enriqueciera el vocabulario permitía que el texto de IA eludiera los detectores, por lo que las herramientas son sesgadas y fáciles de engañar.
Publicado en Patterns (Cell Press, julio de 2023), el estudio aconseja extrema cautela al usar detectores en aulas, admisiones o contratación. Límites: muestra TOEFL modesta y detectores de 2023; no prueba herramientas más recientes ni mide resultados de aprendizaje. Después ha respaldado decisiones institucionales de desactivar las puntuaciones de detección de IA y rediseñar la evaluación.