Estados Unidos · New York City · Ver el perfil de Estados Unidos · Ver el perfil de New York City
Evidencia: Descriptivo / autodeclarado Top 91% 27/100 · Pregunte a Evidence Copilot sobre esta práctica
Panos Ipeirotis, de NYU Stern, sustituyó los trabajos escritos de un curso de Gestión de Producto con IA/ML por exámenes orales dirigidos por IA mediante agentes de voz de ElevenLabs, con un costo de 42 centavos por alumno frente a unos 750 dólares en salarios de asistentes, y el 70% de los alumnos consideró que era una medida más válida de su comprensión.
En la NYU Stern School of Business, el profesor Panos Ipeirotis notó que los trabajos escritos en su curso 'AI/ML Product Management' empezaban a leerse como memorandos de consultoría muy pulidos; al interrogar a los autores con preguntas de seguimiento, muchos no podían explicar su propio trabajo entregado.
Comprobar si los estudiantes realmente entendían lo que habían entregado, sin recurrir a software de detección de IA, construyendo un examen oral dirigido por IA junto con el coprofesor Konstantinos Rizakos.
Construido sobre la IA de voz conversacional de ElevenLabs, junto con los modelos Anthropic Claude, Google Gemini y OpenAI, el sistema lee de antemano el proyecto entregado por cada estudiante y adapta dinámicamente las preguntas a sus afirmaciones específicas. Se probó en una cohorte de 36 estudiantes durante nueve días, con una media de 25 minutos por estudiante.
El examen costó 15 dólares en total, unos 42 centavos por estudiante, frente a un coste estimado de 750 dólares para dos evaluadores humanos a 25 dólares/hora. En las encuestas a estudiantes, el 83% calificó el examen oral con IA como más estresante que una prueba escrita, pero el 70% estuvo de acuerdo en que medía mejor su comprensión real, y solo el 13% dijo preferir a un examinador humano. Tres modelos de IA independientes que calificaron las mismas respuestas coincidieron exactamente en el 29% de los casos y estuvieron dentro de un punto de diferencia en el 60% de los casos. Los estudiantes obtuvieron mejores puntuaciones en 'planteamiento del problema' (media de 3,39/4) que en 'experimentación' (1,94/4), y tres de ellos fueron incapaces de explicar siquiera sus propias decisiones de experimentación.
Se trata de un proyecto piloto de un solo curso, autoinformado por el profesor a través del periódico estudiantil de la NYU y la prensa tecnológica independiente, y no de un estudio auditado de forma independiente o revisado por pares, por lo que su pequeña escala puntual debe moderar las expectativas de generalización.
¿Usted implementa esta práctica? Reivindíquela — los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.
De dónde se obtuvo la información de esta práctica, y cuándo.
República Dominicana
SARA combina una batería de lectura validada con calificación automatizada por IA en una tableta. Validada en 1.860 alumnos de …
Australia
En lugar de una carrera armamentista de detección de IA imposible de ganar, Sídney rediseñó la evaluación en dos carriles …
Hong Kong
En junio de 2023, el Senado de la HKU nombró a la IA generativa "quinta alfabetizacion" y dio a todos …
Reino Unido
La University of Bedfordshire realizó una evaluación publicada comparando su servicio de escritura Studiosity, con tutores humanos, con una nueva …
Abrir el copiloto completo Basado en prácticas citadas: comprueba siempre las fuentes.