Exámenes Orales con IA — La Alternativa de NYU Stern a la Evaluación Escrita, Resistente al Fraude

En la NYU Stern School of Business, el profesor Panos Ipeirotis notó que los trabajos escritos en su curso 'AI/ML Product Management' empezaban a leerse como memorandos de consultoría muy pulidos; al interrogar a los autores con preguntas de seguimiento, muchos no podían explicar su propio trabajo entregado.

Comprobar si los estudiantes realmente entendían lo que habían entregado, sin recurrir a software de detección de IA, construyendo un examen oral dirigido por IA junto con el coprofesor Konstantinos Rizakos.

Construido sobre la IA de voz conversacional de ElevenLabs, junto con los modelos Anthropic Claude, Google Gemini y OpenAI, el sistema lee de antemano el proyecto entregado por cada estudiante y adapta dinámicamente las preguntas a sus afirmaciones específicas. Se probó en una cohorte de 36 estudiantes durante nueve días, con una media de 25 minutos por estudiante.

El examen costó 15 dólares en total, unos 42 centavos por estudiante, frente a un coste estimado de 750 dólares para dos evaluadores humanos a 25 dólares/hora. En las encuestas a estudiantes, el 83% calificó el examen oral con IA como más estresante que una prueba escrita, pero el 70% estuvo de acuerdo en que medía mejor su comprensión real, y solo el 13% dijo preferir a un examinador humano. Tres modelos de IA independientes que calificaron las mismas respuestas coincidieron exactamente en el 29% de los casos y estuvieron dentro de un punto de diferencia en el 60% de los casos. Los estudiantes obtuvieron mejores puntuaciones en 'planteamiento del problema' (media de 3,39/4) que en 'experimentación' (1,94/4), y tres de ellos fueron incapaces de explicar siquiera sus propias decisiones de experimentación.

Se trata de un proyecto piloto de un solo curso, autoinformado por el profesor a través del periódico estudiantil de la NYU y la prensa tecnológica independiente, y no de un estudio auditado de forma independiente o revisado por pares, por lo que su pequeña escala puntual debe moderar las expectativas de generalización.