Exames Orais com IA — A Alternativa da NYU Stern à Avaliação Escrita, Resistente a Fraude

Na NYU Stern School of Business, o professor Panos Ipeirotis notou que os trabalhos escritos na sua disciplina 'AI/ML Product Management' começaram a ler-se como memorandos de consultoria altamente polidos; quando questionava os autores com perguntas de acompanhamento, muitos não conseguiam explicar o seu próprio trabalho submetido.

Testar se os estudantes realmente compreendiam o que tinham submetido, sem recorrer a software de deteção de IA, construindo um exame oral conduzido por IA com o co-docente Konstantinos Rizakos.

Construído sobre a IA de voz conversacional da ElevenLabs, juntamente com os modelos Anthropic Claude, Google Gemini e OpenAI, o sistema lê antecipadamente o projeto submetido por cada estudante e adapta dinamicamente as perguntas às suas afirmações específicas. Foi testado numa coorte de 36 estudantes ao longo de nove dias, com uma média de 25 minutos por estudante.

O exame custou 15 dólares no total, cerca de 42 cêntimos por estudante, face a um custo estimado de 750 dólares para dois avaliadores humanos a 25 dólares/hora. Nos inquéritos aos estudantes, 83% classificaram o exame oral com IA como mais stressante do que um teste escrito, mas 70% concordaram que media melhor a sua verdadeira compreensão, e apenas 13% disseram preferir um examinador humano. Três modelos de IA independentes, ao avaliar as mesmas respostas, concordaram exatamente em 29% dos casos e ficaram dentro de um ponto de diferença em 60% dos casos. Os estudantes pontuaram melhor em 'enquadramento do problema' (média de 3,39/4) do que em 'experimentação' (1,94/4), com três incapazes de discutir sequer as suas próprias escolhas de experimentação.

Trata-se de um projeto-piloto de uma única disciplina, auto-reportado pelo docente através do jornal estudantil da NYU e da imprensa tecnológica independente, e não de um estudo auditado de forma independente ou revisto por pares, pelo que a sua pequena escala pontual deve moderar as expectativas de generalização.