evidoria

← Retour à la liste

Bonne pratique Importée

Försäkringskassan's discriminatory welfare-fraud AI (Sweden)

Suède · Stockholm · Voir le profil de Suède · Voir le profil de Stockholm

Preuves: Observationnel / avant-après Top 97% 20/100 · Demandez à Evidence Copilot à propos de cette pratique

Sweden's Social Insurance Agency used an ML risk-scorer from ~2013 to detect benefit fraud; a 2024 investigation found it disproportionately flagged women, migrants, and low-income earners; the model was suspended after the data protection authority intervened in June 2025.

6 metrics
Mesures statistiques d'équité confirmant le signalement disproportionné (2024 investigation)
Försäkringskassan's discriminatory welfare-fraud AI (Sweden)

Détails

Maturité
Abandonnée
Promoteur
Försäkringskassan (Swedish Social Insurance Agency)
Période
2013–2025
Région (NUTS)
SE11
Mots-clés
welfare fraud detection, machine learning, risk scoring, algorithmic bias, benefit administration

Contexte

Försäkringskassan (l'Agence suédoise d'assurance sociale) a utilisé, depuis au moins 2013, un algorithme d'apprentissage automatique pour attribuer des scores de risque aux demandeurs de prestations sociales — principalement ceux réclamant une allocation temporaire pour enfant — afin de prioriser les dossiers pour enquête de fraude. Le système fonctionnait sans que le public en soit informé et était décrit en interne comme le « secret le mieux gardé » de l'agence.

Résultats

En novembre 2024, Lighthouse Reports et Svenska Dagbladet ont publié l'enquête « Sweden's Suspicion Machine », révélant que l'algorithme signalait de manière disproportionnée les femmes, les personnes d'origine migrante, les personnes à faible revenu et celles sans diplôme universitaire. Des tests portant sur six mesures statistiques d'équité ont confirmé un biais systémique, faisant écho à un rapport de 2018 de l'Inspection suédoise de l'assurance sociale (ISF) qui concluait que l'algorithme « ne respecte pas l'égalité de traitement » — des conclusions que Försäkringskassan avait alors rejetées tout en continuant à exploiter le système. L'Autorité suédoise de protection des données (IMY) a ouvert une enquête à la suite des révélations de Lighthouse Reports, et dès juin 2025 Försäkringskassan a suspendu le modèle, reconnaissant par la suite des « lacunes en matière de transparence et de gestion des risques » et ajoutant une supervision manuelle temporaire.

Conclusions

Le Comité suédois de l'intégrité avait déjà alerté dès 2016 sur les risques pour l'intégrité personnelle des citoyens, et l'agence a rejeté quasiment toutes les demandes d'accès à l'information sur le système pendant plusieurs années ; Amnesty International a appelé les autorités suédoises à abandonner le système en novembre 2024. Ce cas fait écho au système néerlandais SyRI et constitue un exemple d'avertissement sur la façon dont le scoring de risque par apprentissage automatique dans la sécurité sociale peut ancrer une inégalité structurelle lorsqu'il est déployé sans audit d'équité adéquat, sans mécanismes de recours significatifs, ni contrôle réglementaire réel.

Mise en œuvre

Coût indicatif
Moyen (50 k€–500 k€)
Délai jusqu’aux résultats
Long (> 3 ans)
Personnel et compétences
Försäkringskassan (Swedish Social Insurance Agency) internal team

Conditions de réussite

  • fairness auditing before deployment
  • transparency and FOI responsiveness
  • responsiveness to internal supervisory (ISF) and Integrity Committee warnings

Modes d’échec courants

  • disproportionately flagged women, migrants, low-income earners and those without university degrees per six statistical fairness metrics
  • agency rejected 2018 ISF finding that it 'does not meet equal treatment'
  • agency rejected virtually all FOI requests for years
  • Integrity Committee warnings from 2016 went unheeded
  • suspended only after IMY regulatory intervention in June 2025
  • agency conceded 'shortcomings in transparency and risk management'

Habituellement financé par

National / regional programmes

Pistes de financement indicatives pour des pratiques de ce type — vérifiez toujours les appels en cours et les règles d'éligibilité de chaque programme.

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles