Proctorio en la Vrije Universiteit Amsterdam — Un Caso de Alerta sobre el Sesgo en la Supervisión de Exámenes con IA

En septiembre de 2020, Robin Pocornie, una estudiante negra de la Vrije Universiteit Amsterdam (VU), realizó un examen remoto utilizando Proctorio, una herramienta de IA anti-fraude que verifica la identidad mediante webcam y detección facial. El software falló repetidamente en reconocer su rostro, registrando errores de "rostro no encontrado" y "habitación demasiado oscura" incluso después de que ella apuntara una lámpara directamente hacia sí misma — una experiencia que, según dijo, también informaron otros estudiantes de color.

En julio de 2022, Pocornie presentó una queja ante el Instituto Neerlandés de Derechos Humanos. En diciembre de 2022, el Instituto emitió una conclusión provisional de que ella había presentado pruebas suficientes de discriminación algorítmica, trasladando la carga de la prueba a la VU.

En su fallo final de octubre de 2023, el Instituto concluyó que la VU no había discriminado mediante el uso del software en sí, pero sí había discriminado en la forma en que gestionó su queja; declaró explícitamente que el fallo "no descarta" que Proctorio u otro software similar pueda causar discriminación en otros casos.

El caso se inserta en una base de evidencia ya bien establecida — que hace eco de la investigación Gender Shades de Buolamwini y Gebru, con un informe neerlandés que cita alrededor de un 30% menos de precisión de reconocimiento en tonos de piel más oscuros — y constituye un ejemplo cautelar de una herramienta de IA que alcanzó escala universitaria nacional antes de que sus riesgos de sesgo y procedimientos de gestión de quejas fueran adecuadamente probados o gobernados.