A Rejeição da Universidade Vanderbilt, Baseada em Evidências, do Detetor de IA da Turnitin

Em abril de 2023, o Brightspace/Center for Teaching da Universidade de Vanderbilt ativou a nova funcionalidade de deteção de texto gerado por IA da Turnitin para uso do corpo docente em toda a universidade, apesar de a Turnitin afirmar publicamente uma taxa de falsos positivos de apenas cerca de 1%. Com cerca de 75,000 trabalhos submetidos através da Turnitin em 2022, os funcionários de Vanderbilt calcularam que mesmo essa taxa alegadamente baixa implicaria que cerca de 750 trabalhos por ano pudessem ser erradamente sinalizados como gerados por IA. Nesse mesmo verão, uma equipa de investigação da Universidade de Stanford publicou um estudo revisto por pares na revista Patterns, da Cell Press, testando se os detetores comerciais de texto gerado por IA eram tendenciosos contra escritores de inglês não nativos.

O objetivo declarado de Vanderbilt era avaliar se o detetor de texto gerado por IA da Turnitin era suficientemente preciso e justo para fundamentar decisões de integridade académica de elevado risco, ponderando a taxa de falsos positivos alegada pela ferramenta em relação ao número de trabalhos analisados e à transparência da sua metodologia.

Ao longo de vários meses, o Brightspace/Center for Teaching de Vanderbilt realizou testes internos ao detetor de texto gerado por IA e consultou outras universidades e fornecedores de IA, incluindo a Turnitin, antes de decidir sobre a sua utilização futura. Em paralelo, investigadores de Stanford (Liang, Yuksekgonul, Mao, Wu e Zou) submeteram 91 ensaios TOEFL genuínos escritos por falantes não nativos de inglês, e um conjunto comparativo de ensaios do oitavo ano norte-americano escritos por falantes nativos, a sete detetores comerciais de GPT amplamente utilizados, tendo também testado como a reformulação dos textos com o ChatGPT alterava os resultados dos detetores.

Vanderbilt desativou o detetor de texto gerado por IA da Turnitin em toda a universidade a 16 de agosto de 2023, citando tanto o risco de falsos positivos como a recusa da Turnitin em divulgar a metodologia detalhada por trás das suas pontuações de probabilidade de IA. O estudo de Stanford concluiu que os sete detetores classificaram erradamente, em média, 61.3% dos ensaios TOEFL não nativos como gerados por IA, com um detetor a sinalizar 97.8% e os sete detetores a errarem unanimemente em 19.8% do conjunto, enquanto os ensaios do oitavo ano de falantes nativos de inglês foram corretamente classificados; usar o ChatGPT para melhorar a escolha de palavras dos ensaios não nativos reduziu a taxa de falsos positivos para 11.6%, ao passo que simplificar o vocabulário dos ensaios nativos aumentou a sua classificação incorreta.

Em conjunto, os dois casos mostram um raro ciclo de retroação entre o raciocínio interno de custo-benefício de uma instituição e a investigação académica independente a chegar à mesma conclusão: os detetores comerciais de texto gerado por IA ainda não eram suficientemente fiáveis ou justos para decisões de integridade académica de elevado risco, particularmente para estudantes internacionais e não nativos de inglês, levando Vanderbilt e outras universidades norte-americanas a desativar a deteção de IA em vez de arriscarem acusações falsas.