evidoria

← Retour à la liste

Bonne pratique Importée

Smart Check — Amsterdam a Conçu une IA « Équitable » Contre la Fraude Sociale, Puis L'a Abandonnée Quand les Biais Sont Réapparus en Conditions Réelles

Pays-Bas · Amsterdam · Voir le profil de Pays-Bas · Voir le profil de Amsterdam

Preuves: Quasi expérimental Top 24% 73/100 · Demandez à Evidence Copilot à propos de cette pratique

Amsterdam a consacré environ cinq ans et près de 535 000 euros à Smart Check, un algorithme de détection de fraude aux aides sociales conçu pour éviter toute discrimination. Lors d'un test réel en 2023 portant sur environ 1 600 dossiers, il n'a pas été plus précis que les agents humains et présentait toujours des biais, ce qui a conduit la ville à l'abandonner.

€535,000
Coût du projet
~1,600
Demandes d'aide sociale évaluées lors du pilote 2023
Smart Check — Amsterdam a Conçu une IA « Équitable » Contre la Fraude Sociale, Puis L'a Abandonnée Quand les Biais Sont Réapparus en Conditions Réelles

Détails

Maturité
Abandonnée
Promoteur
City of Amsterdam, Department of Work, Income and Participation
Période
2019–2023
Mots-clés
social welfare, algorithmic fairness, fraud detection, public administration

Contexte

Après qu'un tribunal néerlandais a invalidé l'algorithme national de fraude sociale SyRI en 2020 pour violation des droits humains, Amsterdam a voulu démontrer qu'un outil de détection de fraude assisté par IA pouvait être construit de manière équitable.

Activités

Le service Travail, Revenu et Participation de la ville a construit Smart Check, un modèle « explainable boosting machine » notant environ 15 caractéristiques, en excluant délibérément le genre, la nationalité, l'âge et des variables proxy comme le code postal. Les responsables ont commandé des audits de biais, des évaluations des droits humains et recueilli l'avis des bénéficiaires, en repondérant les données d'entraînement après que les premiers tests aient révélé un biais.

Résultats

Déployé sur environ 1 600 dossiers réels en 2023, Smart Check s'est révélé pas plus précis que les travailleurs sociaux, et le biais est réapparu sous une autre forme (signalant excessivement les ressortissants néerlandais, les femmes et les demandeurs avec enfants).

Conclusions

Amsterdam a suspendu le projet en novembre 2023 et publié le code, la documentation du modèle et les données d'audit, produisant une étude de cas remarquablement transparente sur le fait que l'ingénierie de l'équité seule ne garantit pas un résultat non discriminatoire.

Mise en œuvre
Coût indicatif
Moyen (50 k€–500 k€)
Délai jusqu’aux résultats
Long (> 3 ans)
Personnel et compétences
Amsterdam Department of Work, Income and Participation, Deloitte (€35,000 contract), academic and welfare-recipient consultees

Conditions de réussite

  • excluding protected/proxy variables from the model
  • independent bias audits before and during deployment

Modes d’échec courants

  • bias resurfaced in a different form after reweighting
  • no more accurate than existing caseworker judgement
  • project ultimately shelved

Habituellement financé par

Own resources / municipal budget

Pistes de financement indicatives pour des pratiques de ce type — vérifiez toujours les appels en cours et les règles d'éligibilité de chaque programme.

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles