Evaluaciones entre Pares Calificadas por IA de Coursera para Cursos de Certificado Profesional

Coursera puso a prueba una función de calificación por IA para los trabajos de evaluación entre pares, de respuesta abierta y basados en texto, utilizados en muchos de sus cursos de Certificado Profesional (con marca conjunta de socios como Google, IBM y Meta). Los instructores proporcionan una rúbrica de evaluación, y el modelo de IA califica las entregas de los estudiantes según esa rúbrica, complementando o sustituyendo la calificación por pares y por asistentes docentes; la función está limitada a entregas de texto y queda excluida de los programas universitarios con créditos de Coursera.
En su propio informe de la fase beta (publicado en septiembre de 2024), Coursera indica que el sistema calificó cerca de 300 000 entregas, redujo el tiempo medio de corrección de unas 15 horas (correctores humanos) a cerca de 1 minuto, aportó unas 45 veces más texto de retroalimentación por respuesta (326 caracteres de media), y que el 90% de los estudiantes valoró positivamente la retroalimentación de la IA. Las finalizaciones de curso dentro del día siguiente a una evaluación entre pares aumentaron un 16,7% tras introducir la función. Sin embargo, los propios datos de Coursera también muestran que la tasa de aprobación en el primer intento cayó del 88% al 72%, con calificaciones de la IA en promedio un 3% más bajas que las calificaciones previas entre pares; solo el 7% de los estudiantes optó por volver a la calificación humana.
Reportajes independientes de Class Central plantearon preocupaciones concretas sobre la precisión en la beta inicial: encontraron que el calificador de IA a veces parecía puntuar según el tono o 'sentimiento' de una entrega en lugar de ceñirse a la rúbrica, produjo calificaciones inconsistentes al corregir repetidamente el mismo texto, y requirió correcciones por parte de evaluadores humanos, especialmente aquellos que habían completado el curso ellos mismos. El área de educación continua de Duke University realizó su propio piloto opcional, invitando a los estudiantes a comparar directamente la calificación por IA y por humanos, lo que indica que incluso las instituciones que adoptaron la función consideraban la cuestión de la precisión como todavía abierta.