Ensayo AHEAD — Las preguntas de examen médico generadas por IA igualan a las escritas por humanos en la mayoría de las medidas, con una brecha de equidad señalada

Redactar una sola pregunta de examen de opcion multiple de alta calidad para la educacion medica puede llevar a docentes o redactores de items mas de una hora y costar entre 200 y mas de 2.000 dolares estadounidenses por item utilizable, lo que encarece la construccion y el mantenimiento de grandes bancos de preguntas.

Comprobar si las preguntas de examen generadas por IA pueden igualar a las escritas por humanos en rendimiento del examen, calidad de los items y aceptabilidad por parte de los estudiantes, cuantificando ademas el ahorro de tiempo.

La Facultad de Medicina de la Universidad de Columbia Britanica realizo el AHEAD Trial los dias 8 y 9 de diciembre de 2024, asignando aleatoriamente a 258 estudiantes de medicina de primer ano, en proporcion 1:1, a un examen simulado ciego de 112 items, elaborado por estudiantes de medicina senior (generado por humanos) o por un flujo de validacion de ChatGPT-4 mas Google Gemini (generado por IA), eliminando todos los indicadores de autoria antes de la entrega.

Los items generados por IA tardaron 4,2 minutos cada uno en producirse, frente a 19,6 minutos para los items escritos por humanos, una ganancia de eficiencia de 5,6 veces (p<0,0001). Las puntuaciones globales del examen fueron estadisticamente similares (73,4% en el examen generado por humanos frente a 71,0% en el generado por IA, p=0,083). Los items escritos por humanos tuvieron una discriminacion de item modesta pero significativamente mayor (efecto pequeno), y la aceptabilidad autodeclarada por los estudiantes favorecio el examen humano en cuatro de nueve medidas, con tamanos de efecto pequenos (d de Cohen <=0,32). Ninguno de los dos examenes modifico de forma significativa la percepcion de preparacion de los estudiantes. Un analisis exploratorio de subgrupos encontro que los estudiantes varones superaron a las estudiantes mujeres en el examen generado por IA (rrb=0,26), pero no en el generado por humanos (rrb=0,07).

Los items generados por IA igualaron a los escritos por humanos en la mayoria de las medidas, con una fraccion del tiempo de produccion, pero el ensayo se realizo en un unico centro, solo con estudiantes de primer ano, con estudiantes senior en lugar de docentes como redactores de preguntas, se registro retrospectivamente, y los autores senalan la senal de brecha de genero como algo que requiere seguimiento y no como un efecto confirmado.