Sweden's Social Insurance Agency used an ML risk-scorer from ~2013 to detect benefit fraud; a 2024 investigation found it disproportionately flagged women, migrants, and low-income earners; the model was suspended after the data protection authority intervened in June 2025.
6 metrics
Métricas estadísticas de equidad que confirmaron el señalamiento desproporcionado (2024 investigation)
Detalles
Madurez
Descontinuada
Promotor
Försäkringskassan (Swedish Social Insurance Agency)
Försäkringskassan (la Agencia Sueca de Seguros Sociales) utilizó, al menos desde 2013, un algoritmo de aprendizaje automático para asignar puntuaciones de riesgo a los solicitantes de prestaciones sociales —principalmente quienes reclamaban ayuda temporal por hijos— con el fin de priorizar casos para investigación por fraude. El sistema funcionaba sin conocimiento público y se describía internamente como el 'secreto mejor guardado' de la agencia.
Resultados
En noviembre de 2024, Lighthouse Reports y Svenska Dagbladet publicaron la investigación 'Sweden's Suspicion Machine', revelando que el algoritmo señalaba de forma desproporcionada a mujeres, personas con antecedentes migratorios, personas de bajos ingresos y aquellas sin título universitario. Las pruebas frente a seis métricas estadísticas de equidad confirmaron un sesgo sistémico, haciendo eco de un informe de 2018 de la Inspectoría Sueca de Seguros Sociales (ISF) que concluyó que el algoritmo 'no cumple con la igualdad de trato' —hallazgos que Försäkringskassan rechazó entonces, mientras seguía operando el sistema. La Autoridad de Protección de Datos sueca (IMY) abrió una investigación tras las revelaciones de Lighthouse Reports, y en junio de 2025 Försäkringskassan suspendió el modelo, reconociendo más tarde 'deficiencias en la transparencia y en la gestión de riesgos' y añadiendo supervisión manual temporal.
Conclusiones
El Comité de Integridad sueco ya había advertido en 2016 sobre riesgos para la integridad personal de los ciudadanos, y la agencia rechazó prácticamente todas las solicitudes de acceso a la información sobre el sistema durante varios años; Amnistía Internacional pidió a las autoridades suecas que descontinuaran el sistema en noviembre de 2024. Este caso es paralelo al SyRI de los Países Bajos y constituye un ejemplo cautelar de cómo la puntuación de riesgo mediante aprendizaje automático en la seguridad social puede incorporar desigualdad estructural cuando se implementa sin una auditoría de equidad adecuada, mecanismos de reparación significativos o un escrutinio regulatorio genuino.
Implementación
Coste indicativo
Medio (50 000–500 000 €)
Tiempo hasta resultados
Largo (> 3 años)
Personal y competencias
Försäkringskassan (Swedish Social Insurance Agency) internal team
Condiciones para el éxito
fairness auditing before deployment
transparency and FOI responsiveness
responsiveness to internal supervisory (ISF) and Integrity Committee warnings
Modos de fallo comunes
disproportionately flagged women, migrants, low-income earners and those without university degrees per six statistical fairness metrics
agency rejected 2018 ISF finding that it 'does not meet equal treatment'
agency rejected virtually all FOI requests for years
Integrity Committee warnings from 2016 went unheeded
suspended only after IMY regulatory intervention in June 2025
agency conceded 'shortcomings in transparency and risk management'
Habitualmente financiado por
National / regional programmes
Vías de financiación indicativas para prácticas de este tipo: compruebe siempre las convocatorias vigentes y las reglas de elegibilidad de cada programa.
¿Usted implementa esta práctica?
Reivindíquela —
los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.
Fuentes de datos
De dónde se obtuvo la información de esta práctica, y cuándo.
Desde 2011, la Agencia Tributaria de Irlanda usa IA (REAP) para seleccionar intervenciones de cumplimiento fiscal; 290.000 intervenciones guiadas por …