Examens Oraux Propulsés par l'IA — L'Alternative de la NYU Stern à l'Évaluation Écrite, Résistante à la Triche

À la NYU Stern School of Business, le professeur Panos Ipeirotis a remarqué que les travaux écrits de son cours « AI/ML Product Management » commençaient à ressembler à des mémos de conseil très soignés ; lorsqu'il interrogeait les auteurs avec des questions de suivi, beaucoup ne pouvaient pas expliquer leur propre travail soumis.

Tester si les étudiants comprenaient réellement ce qu'ils avaient soumis, sans recourir à un logiciel de détection d'IA, en construisant un examen oral mené par IA avec le co-enseignant Konstantinos Rizakos.

Construit sur l'IA vocale conversationnelle d'ElevenLabs, associée aux modèles Anthropic Claude, Google Gemini et OpenAI, le système lit à l'avance le projet soumis par chaque étudiant et adapte dynamiquement les questions à ses affirmations spécifiques. Il a été testé sur une cohorte de 36 étudiants sur neuf jours, avec une moyenne de 25 minutes par étudiant.

L'examen a coûté 15 dollars au total, soit environ 42 cents par étudiant, contre un coût estimé de 750 dollars pour deux correcteurs humains à 25 dollars de l'heure. Dans les enquêtes auprès des étudiants, 83 % ont jugé l'examen oral par IA plus stressant qu'un test écrit, mais 70 % ont convenu qu'il mesurait mieux leur compréhension réelle, et seuls 13 % ont déclaré préférer un examinateur humain. Trois modèles d'IA indépendants notant les mêmes réponses se sont accordés exactement dans 29 % des cas et à un point près dans 60 % des cas. Les étudiants ont obtenu de meilleurs scores en « cadrage du problème » (moyenne de 3,39/4) qu'en « expérimentation » (1,94/4), trois d'entre eux étant incapables de discuter de leurs propres choix expérimentaux.

Il s'agit d'un projet pilote limité à un seul cours, autodéclaré par l'enseignant via le journal étudiant de la NYU et la presse technologique indépendante, et non d'une étude auditée de manière indépendante ou évaluée par des pairs ; sa petite échelle ponctuelle doit donc tempérer les attentes de généralisation.