Essai AHEAD — Les questions d'examen médical générées par l'IA égalent celles rédigées par des humains sur la plupart des mesures, avec un écart d'équité signalé

Rediger une seule question d'examen a choix multiples de haute qualite pour l'enseignement medical peut prendre plus d'une heure aux enseignants ou redacteurs d'items et couter entre 200 et plus de 2 000 dollars americains par item utilisable, ce qui rend couteuse la constitution et la maintenance de grandes banques de questions.

Verifier si des questions d'examen generees par IA peuvent egaler celles redigees par des humains en termes de resultats a l'examen, de qualite des items et d'acceptabilite pour les etudiants, tout en quantifiant le gain de temps.

La faculte de medecine de l'Universite de Colombie-Britannique a mene l'AHEAD Trial les 8 et 9 decembre 2024, en repartissant aleatoirement 258 etudiants de medecine de premiere annee, selon un ratio de 1:1, dans un examen blanc en double aveugle de 112 items, construit soit par des etudiants seniors en medecine (genere par des humains), soit par un pipeline de validation combinant ChatGPT-4 et Google Gemini (genere par IA), tout indicateur d'auteur ayant ete retire avant la remise.

Les items generes par IA ont pris 4,2 minutes chacun a produire, contre 19,6 minutes pour les items rediges par des humains, soit un gain d'efficacite de 5,6 fois (p<0,0001). Les scores globaux a l'examen etaient statistiquement similaires (73,4 % pour l'examen genere par des humains contre 71,0 % pour celui genere par IA, p=0,083). Les items rediges par des humains presentaient un pouvoir discriminant legerement mais significativement superieur (effet faible), et l'acceptabilite autodeclaree par les etudiants favorisait l'examen humain sur quatre des neuf mesures, avec des tailles d'effet faibles (d de Cohen <=0,32). Aucun des deux examens n'a modifie de maniere significative le sentiment de preparation des etudiants. Une analyse exploratoire en sous-groupes a montre que les etudiants masculins surpassaient les etudiantes sur l'examen genere par IA (rrb=0,26), mais pas sur l'examen genere par des humains (rrb=0,07).

Les items generes par IA ont egale ceux rediges par des humains sur la plupart des mesures, pour une fraction du temps de production, mais l'essai etait mene dans un seul centre, uniquement aupres d'etudiants de premiere annee, avec des etudiants seniors plutot que des enseignants comme redacteurs de questions, un enregistrement retrospectif, et les auteurs signalent le signal d'ecart entre les sexes comme necessitant une surveillance plutot que comme un effet confirme.