evidoria

← Retour à la liste

Bonne pratique Importée

Examens Oraux Propulsés par l'IA — L'Alternative de la NYU Stern à l'Évaluation Écrite, Résistante à la Triche

États-Unis d'Amérique · New York City · Voir le profil de États-Unis d'Amérique · Voir le profil de New York City

Preuves: Descriptif / auto-déclaré Top 89% 27/100 · Demandez à Evidence Copilot à propos de cette pratique

Panos Ipeirotis, de la NYU Stern, a remplacé les travaux écrits de son cours de gestion de produits IA/ML par des examens oraux menés par l'IA via des agents vocaux ElevenLabs, pour un coût de 42 cents par étudiant contre environ 750 dollars en salaires d'assistants, 70 % des étudiants jugeant ce format plus valide pour évaluer leur compréhension.

15 USD
Coût total de l'examen (one cohort)
0.42 USD
Coût par étudiant (one cohort)
750 USD
Coût estimé pour des correcteurs humains (one cohort)
36 students
Étudiants dans la cohorte pilote (one semester)
83 %
Étudiants jugeant l'examen plus stressant qu'un test écrit (one cohort)
70 %
Étudiants estimant qu'il mesure mieux la compréhension (one cohort)
13 %
Étudiants préférant un examinateur humain (one cohort)
29 %
Accord exact entre les 3 correcteurs IA (one cohort)
60 %
Accord à un point près entre les 3 correcteurs IA (one cohort)
3.39 out of 4
Score moyen, cadrage du problème (one cohort)
1.94 out of 4
Score moyen, expérimentation (one cohort)
Examens Oraux Propulsés par l'IA — L'Alternative de la NYU Stern à l'Évaluation Écrite, Résistante à la Triche

Détails

Maturité
Pilote
Promoteur
NYU Stern School of Business (Panos Ipeirotis, Konstantinos Rizakos)
Période
2025-2026
Mots-clés
education, higher education, assessment technology

Contexte

À la NYU Stern School of Business, le professeur Panos Ipeirotis a remarqué que les travaux écrits de son cours « AI/ML Product Management » commençaient à ressembler à des mémos de conseil très soignés ; lorsqu'il interrogeait les auteurs avec des questions de suivi, beaucoup ne pouvaient pas expliquer leur propre travail soumis.

Objectifs

Tester si les étudiants comprenaient réellement ce qu'ils avaient soumis, sans recourir à un logiciel de détection d'IA, en construisant un examen oral mené par IA avec le co-enseignant Konstantinos Rizakos.

Activités

Construit sur l'IA vocale conversationnelle d'ElevenLabs, associée aux modèles Anthropic Claude, Google Gemini et OpenAI, le système lit à l'avance le projet soumis par chaque étudiant et adapte dynamiquement les questions à ses affirmations spécifiques. Il a été testé sur une cohorte de 36 étudiants sur neuf jours, avec une moyenne de 25 minutes par étudiant.

Résultats

L'examen a coûté 15 dollars au total, soit environ 42 cents par étudiant, contre un coût estimé de 750 dollars pour deux correcteurs humains à 25 dollars de l'heure. Dans les enquêtes auprès des étudiants, 83 % ont jugé l'examen oral par IA plus stressant qu'un test écrit, mais 70 % ont convenu qu'il mesurait mieux leur compréhension réelle, et seuls 13 % ont déclaré préférer un examinateur humain. Trois modèles d'IA indépendants notant les mêmes réponses se sont accordés exactement dans 29 % des cas et à un point près dans 60 % des cas. Les étudiants ont obtenu de meilleurs scores en « cadrage du problème » (moyenne de 3,39/4) qu'en « expérimentation » (1,94/4), trois d'entre eux étant incapables de discuter de leurs propres choix expérimentaux.

Conclusions

Il s'agit d'un projet pilote limité à un seul cours, autodéclaré par l'enseignant via le journal étudiant de la NYU et la presse technologique indépendante, et non d'une étude auditée de manière indépendante ou évaluée par des pairs ; sa petite échelle ponctuelle doit donc tempérer les attentes de généralisation.

Mise en œuvre
Coût indicatif
Faible (< 50 k€) — Stated actual cost of $15 total ($0.42/student) for the AI exam versus an estimated $750 for human TA grading.
Délai jusqu’aux résultats
Court (< 1 an) — Exams administered over a nine-day window within one semester.
Personnel et compétences
Panos Ipeirotis (instructor), Konstantinos Rizakos (co-instructor), NYU Stern School of Business

Conditions de réussite

  • AI reads each student's own submission in advance and tailors follow-up questions to their specific claims
  • Multiple independent AI models used for grading to expose reliability limits

Modes d’échec courants

  • Only 29% exact grader agreement across three AI models, a real reliability concern
  • Small, one-off, single-course pilot (n=36), self-reported and not independently audited
  • No formal data-privacy or AI-governance framework described for recorded student voice data

Où cela s’applique

Type de gouvernance
single instructor, single course
Échelle
36 students, one semester
Niveau de revenu
high-income

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles