Auditoria de enviesamento em Stanford — detetores de GPT classificam como IA redações de falantes não nativos de inglês

Investigadores da Universidade de Stanford (grupo de James Zou) testaram sete detetores de GPT amplamente usados em 91 redações TOEFL escritas por humanos, falantes não nativos de inglês, e em redações de alunos norte-americanos do 8.º ano, falantes nativos. Os detetores classificaram quase na perfeição as redações nativas, mas rotularam erradamente mais de metade das redações TOEFL como geradas por IA; um detetor assinalou cerca de 98%. Cerca de 19% das redações TOEFL foram classificadas erradamente, por unanimidade, pelos sete detetores, e 97% foram assinaladas por pelo menos um.
Os autores atribuem o enviesamento à pontuação baseada em perplexidade: vocabulário e sintaxe mais simples, comuns em escritores não nativos, parecem «de máquina». Mostraram ainda que pedir ao ChatGPT que enriquecesse o vocabulário permitia que texto de IA escapasse aos detetores, pelo que as ferramentas são enviesadas e fáceis de enganar.
Publicado na Patterns (Cell Press, julho de 2023), o estudo aconselha extrema cautela no uso de detetores em salas de aula, admissões ou recrutamento. Limites: amostra TOEFL modesta e detetores disponíveis em 2023; não testa ferramentas mais recentes nem mede resultados de aprendizagem. Serviu depois de base a decisões institucionais de desativar as pontuações de deteção de IA e redesenhar a avaliação.