Proctorio na Vrije Universiteit Amsterdam — Um Caso de Atenção sobre Viés em Vigilância de Exames por IA

Em setembro de 2020, Robin Pocornie, uma estudante negra na Vrije Universiteit Amsterdam (VU), realizou um exame remoto utilizando o Proctorio, uma ferramenta de IA anti-fraude que verifica a identidade através de webcam e deteção facial. O software falhou repetidamente em reconhecer o seu rosto, registando erros de "rosto não encontrado" e "sala demasiado escura" mesmo depois de ela apontar uma lâmpada diretamente para si própria — uma experiência que ela disse ter sido também relatada por outros estudantes de cor.

Em julho de 2022, Pocornie apresentou uma queixa ao Instituto Neerlandês dos Direitos Humanos. Em dezembro de 2022, o Instituto emitiu uma conclusão provisória de que ela tinha apresentado provas suficientes de discriminação algorítmica, transferindo o ónus da prova para a VU.

Na sua decisão final de outubro de 2023, o Instituto concluiu que a VU não tinha discriminado através do uso do software em si, mas tinha discriminado na forma como tratou a sua queixa; declarou explicitamente que a decisão "não exclui" que o Proctorio ou software semelhante possa causar discriminação em outros casos.

O caso insere-se numa base de evidências já bem estabelecida — ecoando a investigação Gender Shades de Buolamwini e Gebru, com um relatório neerlandês a citar cerca de 30% menos precisão de reconhecimento em tons de pele mais escuros — e constitui um exemplo cautelar de uma ferramenta de IA a alcançar escala nacional universitária antes de os seus riscos de enviesamento e procedimentos de tratamento de queixas serem adequadamente testados ou governados.