Ensaio AHEAD — Perguntas de Exame Médico Geradas por IA Igualam as Escritas por Humanos na Maioria das Medidas, com uma Lacuna de Equidade Assinalada

Redigir uma unica pergunta de exame de escolha multipla de alta qualidade para o ensino de medicina pode levar mais de uma hora a docentes ou autores de itens e custar uma estimativa de 200 a mais de 2.000 dolares americanos por item utilizavel, tornando dispendiosa a construcao e manutencao de bancos de perguntas alargados.

Testar se perguntas de exame geradas por IA conseguem igualar as escritas por humanos em termos de desempenho no exame, qualidade dos itens e aceitabilidade pelos estudantes, quantificando ao mesmo tempo a poupanca de tempo.

A Faculdade de Medicina da Universidade da Columbia Britanica realizou o AHEAD Trial em 8-9 de dezembro de 2024, distribuindo aleatoriamente 258 estudantes de medicina do primeiro ano, numa proporcao de 1:1, por um exame simulado de 112 itens, com dupla ocultacao, construido por estudantes de medicina seniores (gerado por humanos) ou por um pipeline de validacao ChatGPT-4 mais Google Gemini (gerado por IA), com todos os indicadores de autoria removidos antes da entrega.

Os itens gerados por IA demoraram 4,2 minutos a produzir, contra 19,6 minutos para os itens escritos por humanos, um ganho de eficiencia de 5,6 vezes (p<0,0001). As pontuacoes globais do exame foram estatisticamente semelhantes (73,4% no exame gerado por humanos vs 71,0% no gerado por IA, p=0,083). Os itens escritos por humanos tiveram uma discriminacao de item moderada mas significativamente superior (efeito pequeno), e a aceitabilidade autorreportada pelos estudantes favoreceu o exame humano em quatro das nove medidas, com efeitos pequenos (d de Cohen <=0,32). Nenhum dos exames alterou de forma significativa a perceção dos estudantes sobre a sua preparacao para o exame. Uma analise exploratoria de subgrupos revelou que os estudantes do sexo masculino tiveram melhor desempenho do que as estudantes do sexo feminino no exame gerado por IA (rrb=0,26), mas nao no exame gerado por humanos (rrb=0,07).

Os itens gerados por IA igualaram os escritos por humanos na maioria das medidas, com uma fracao do tempo de producao, mas o ensaio foi realizado num unico centro, apenas com estudantes do primeiro ano, usou estudantes seniores em vez de docentes como autores das perguntas, foi registado retrospetivamente, e os autores assinalam o sinal de disparidade de genero como algo a monitorizar, e nao como um efeito confirmado.