Evaluaciones entre Pares Calificadas por IA de Coursera para Cursos de Certificado Profesional

Coursera probo una funcion de calificacion por IA para las tareas de revision entre pares, de respuesta abierta y en texto, utilizadas en muchos de sus cursos de Certificado Profesional, con marca conjunta de socios como Google, IBM y Meta, en la que los instructores proporcionan una rubrica de calificacion y el modelo de IA puntua las entregas de los estudiantes segun esta, complementando o sustituyendo la calificacion por pares y por auxiliares docentes; la funcion se limita a entregas de texto y esta excluida de los programas de titulacion con creditos de Coursera.

En su propio informe beta publicado en septiembre de 2024, Coursera afirma que el sistema califico alrededor de 300.000 entregas, con el objetivo de reducir el tiempo de calificacion y ofrecer retroalimentacion mas rapida y detallada a los estudiantes.

Informes independientes de Class Central plantearon preocupaciones especificas sobre la precision de la version beta inicial, encontrando que el calificador de IA a veces parecia puntuar segun el tono o 'sentimiento' de una entrega en lugar de la adherencia estricta a la rubrica, producia puntuaciones inconsistentes al calificar repetidamente el mismo texto, y requeria correccion por parte de calificadores humanos, en particular quienes ya habian completado el curso; la division de educacion continua de la Universidad de Duke realizo su propio piloto opcional invitando a los estudiantes a comparar directamente la calificacion por IA y por humanos.

Los datos de Coursera muestran que el tiempo medio de calificacion bajo de unas 15 horas para calificadores humanos a alrededor de 1 minuto, el sistema entrego unas 45 veces mas retroalimentacion escrita por respuesta (una media de 326 caracteres), el 90% de los estudiantes valoro positivamente la retroalimentacion de la IA, y las finalizaciones de curso dentro del mismo dia de una revision entre pares aumentaron un 16,7% tras la introduccion de la funcion; sin embargo, las tasas de aprobacion en el primer intento cayeron del 88% al 72%, las calificaciones asignadas por la IA fueron en promedio un 3% mas bajas que las calificaciones de pares anteriores, y solo el 7% de los estudiantes opto por volver a la calificacion humana.

Incluso instituciones adoptantes como Duke trataron la cuestion de la precision como algo aun abierto y no resuelto, reflejando un panorama genuinamente mixto de retroalimentacion mas rapida y abundante junto con una caida medible en las tasas de aprobacion en el primer intento y problemas de consistencia documentados en la version beta inicial.