Le modèle de risque de fraude de Rotterdam — un algorithme d'aides sociales suspendu après audit et enquête journalistique

La ville de Rotterdam a utilisé un modèle d'apprentissage automatique, développé avec le cabinet Accenture, pour attribuer à chacun de ses quelque 30 000 allocataires de l'aide sociale un score de risque de fraude compris entre 0 et 1. Les agents enquêtaient ensuite sur les personnes les mieux classées. D'après l'analyse du code par Follow the Money, le modèle utilisait 315 variables, dont l'âge, le genre, la situation matrimoniale, une vingtaine de variables sur la maîtrise du néerlandais et des évaluations subjectives des agents. Il a été entraîné sur environ 12 700 allocataires précédemment contrôlés.
En 2023, Lighthouse Reports et la VPRO ont obtenu le code et la documentation technique, que la ville avait en partie divulgués volontairement ; les données d'entraînement n'ont pas été communiquées. Leur analyse montre que les personnes maîtrisant mal le néerlandais figuraient environ deux fois plus souvent dans le groupe à haut risque, que les femmes obtenaient un score plus élevé du seul fait d'être des femmes et que les mères isolées étaient signalées 43 % plus souvent que les femmes seules sans enfant. Lighthouse indique que des centaines d'allocataires ont vu leurs prestations supprimées après enquête. Selon Follow the Money, le modèle repérait des fraudes dans environ 39 contrôles sur 100, contre 25 pour une sélection aléatoire.
Rotterdam a suspendu le système fin 2021, après que son bureau d'audit municipal (Rekenkamer Rotterdam) a soulevé des risques éthiques liés à des critères discriminatoires et qu'un examen éthique commandé par le gouvernement s'est révélé critique. La ville a annoncé qu'elle développerait une version révisée. Le cas est présenté comme un exemple de prudence : le contrôle indépendant a arrêté le modèle, mais seulement après des années de fonctionnement et sans registre public des algorithmes.