Proctorio à la Vrije Universiteit Amsterdam — Un Cas d'Alerte sur les Biais de la Télésurveillance d'Examens par IA

En septembre 2020, Robin Pocornie, une étudiante noire de la Vrije Universiteit Amsterdam (VU), a passé un examen à distance en utilisant Proctorio, un outil d'IA anti-fraude qui vérifie l'identité via webcam et détection faciale. Le logiciel a échoué à plusieurs reprises à reconnaître son visage, enregistrant des erreurs de type « visage non trouvé » et « pièce trop sombre » même après qu'elle ait dirigé une lampe directement sur elle-même — une expérience que d'autres étudiants de couleur ont également rapportée selon elle.

En juillet 2022, Pocornie a déposé une plainte auprès de l'Institut néerlandais des droits humains. En décembre 2022, l'Institut a rendu une conclusion provisoire selon laquelle elle avait présenté des preuves suffisantes de discrimination algorithmique, transférant la charge de la preuve à la VU.

Dans son jugement final d'octobre 2023, l'Institut a conclu que la VU n'avait pas discriminé par l'utilisation du logiciel lui-même, mais avait discriminé dans la manière dont elle avait traité sa plainte ; il a explicitement précisé que la décision « n'exclut pas » que Proctorio ou un logiciel similaire puisse causer une discrimination dans d'autres cas.

L'affaire s'inscrit dans une base de données bien établie — faisant écho aux recherches Gender Shades de Buolamwini et Gebru, un rapport néerlandais citant une précision de reconnaissance environ 30 % plus faible pour les teintes de peau plus foncées — et constitue un exemple d'avertissement d'un outil d'IA atteignant une échelle universitaire nationale avant que ses risques de biais et ses procédures de traitement des plaintes n'aient été adéquatement testés ou encadrés.