L'algorithme de contrôle de la fraude de la DUO — un profilage d'étudiants aux Pays-Bas jugé indirectement discriminatoire

L'agence néerlandaise de l'éducation (DUO) a utilisé de 2012 à 2023 un algorithme de profilage des risques simple, fondé sur des règles, pour choisir les étudiants bénéficiant d'une bourse complémentaire qui recevraient une visite à domicile destinée à vérifier qu'ils vivaient réellement hors du domicile parental. Les critères étaient le type de formation (l'enseignement professionnel/MBO obtenait un score plus élevé), la distance entre l'adresse de l'étudiant et celle des parents (plus courte = score plus élevé) et l'âge (plus jeune = score plus élevé). Personne n'a vérifié que ces indicateurs étaient justifiés ni qu'ils ne produisaient pas de résultats inégaux.

La presse puis une revue externe (PwC, publiée le 1er mars 2024) ont conclu que le système avait conduit indirectement à discriminer les étudiants d'origine migratoire non européenne. Près de 27 000 étudiants ont reçu une visite et près de 10 000 ont été accusés de fraude ; sur 376 dossiers examinés par des avocats, 97 % concernaient des étudiants issus de minorités ethniques. Le ministre de l'Éducation a présenté ses excuses et, en avril 2026, a annoncé une indemnisation de 500 € pour environ 12 000 étudiants visités et de 2 000 € pour environ 10 000 étudiants dont la bourse a été réduite ou qui ont été sanctionnés.

Un audit académique indépendant (Holstege et al., arXiv 2502.01713) a appliqué un outil de détection de biais non supervisé, conçu pour fonctionner sans données démographiques, aux scores de plus de 250 000 étudiants de 2012 à 2023 et a mis en évidence les mêmes disparités connues. L'outil a été publié en open source.

C'est un cas d'alerte : un modèle transparent, voire simpliste, peut discriminer lorsque les indicateurs sont corrélés à l'origine ethnique et qu'il n'existe ni test de biais, ni documentation, ni voie de contestation. Les enseignements sont des audits de biais avant déploiement, une justification documentée de chaque critère et un suivi continu ; l'outil d'audit open source est un résultat réutilisable.