A Agência de Segurança Social da Suécia pontuava o risco de fraude por algoritmo desde 2013. A Lighthouse Reports (2024) achou que sobrerrepresentava mulheres e candidatos pobres ou estrangeiros; a agência retirou o modelo em 2025 e o IMY encerrou o caso em novembro.
>6,000 people flagged by the algorithm in 2017
Conjunto de dados analisado pelos investigadores (2017 data, analysed Nov 2024)
2013-2025 (~12 years)
Anos em produção antes da descontinuação (2013-2025)
Case closed 18 November 2025 following confirmed discontinuation
Resultado do processo de supervisão RGPD da IMY (Jun-Nov 2025)
Detalhes
Maturidade
Descontinuada
Promotor
Försäkringskassan (Swedish Social Insurance Agency)
Período
2013–2025
Região (NUTS)
SE11
Palavras-chave
social insurance, fraud detection, algorithmic risk scoring
Contexto
A Försäkringskassan, a Agência de Segurança Social sueca, utilizou desde 2013 um modelo de aprendizagem automática para atribuir pontuações de risco de fraude a candidatos à segurança social e decidir quais os casos a investigar.
Objetivos
Pontuar o risco de fraude dos candidatos para direcionar de forma mais eficiente os recursos de investigação.
Atividades
O modelo esteve em produção desde 2013. O inspetorado sueco ISF levantou pela primeira vez preocupações de igualdade de tratamento em 2018. Em novembro de 2024, a Lighthouse Reports e o Svenska Dagbladet analisaram um conjunto de dados de mais de 6.000 pessoas assinaladas pelo algoritmo em 2017. Na sequência da reportagem, a autoridade de proteção de dados IMY abriu um processo formal de supervisão ao abrigo do RGPD em junho de 2025.
Resultados
A investigação de 2024 concluiu que o modelo selecionava sistematicamente em excesso mulheres, candidatos com origem estrangeira, pessoas com baixos rendimentos e pessoas sem formação universitária para investigação, tendo um desempenho fraco na identificação de homens e pessoas com rendimentos mais elevados que tinham efetivamente cometido fraude; muito poucos casos assinalados resultaram numa decisão judicial de fraude intencional. Em 5 de setembro de 2025, a Försäkringskassan confirmou à IMY que tinha descontinuado o modelo cerca de um mês antes, sem planos de o reativar, e a IMY encerrou o processo em 18 de novembro de 2025.
Conclusões
O escrutínio jornalístico e regulatório independente documentou um claro enviesamento demográfico num algoritmo de risco de fraude social com uma década de existência, levando à sua descontinuação total, confirmada tanto pela agência como pelo regulador de proteção de dados.
Implementação
Custo indicativo
Médio (50 mil–500 mil €) — A machine-learning risk-scoring system operated in production across a national welfare agency's applicant base for over a decade, implying a medium ongoing operating cost before discontinuation.
Tempo até resultados
Longo (> 3 anos) — In use from 2013 to its discontinuation around August 2025 (confirmed to the regulator 5 September 2025), with the regulatory case formally closed 18 November 2025 -- a 12-year lifecycle.
Equipa e competências
Försäkringskassan (Swedish Social Insurance Agency) fraud-investigation and IT staff, ISF (Inspektionen för socialförsäkringen), national inspectorate, IMY (Swedish data-protection authority)
Condições de sucesso
Independent inspectorate and regulator oversight able to investigate and act on bias concerns
Willingness to discontinue a system once bias is confirmed, and to confirm this in writing to the regulator
Modos de falha comuns
The model systematically overselected women, low-income and foreign-background applicants while missing actual higher-earning male fraud cases, for over a decade before correction
It took a media investigation, not routine internal governance, to surface the bias despite the inspectorate ISF having raised equal-treatment concerns as early as 2018
Onde se enquadra
Tipo de governação
national social insurance agency
Escala
nationwide applicant screening
Nível de rendimento
high-income
Habitualmente financiado por
National / regional programmes
Vias de financiamento indicativas para práticas deste tipo — verifique sempre os avisos abertos e as regras de elegibilidade de cada programa.
Implementa esta prática?
Reivindique-a —
implementadores verificados obtêm um contacto público na página e podem propor correções.
Fontes de dados
De onde foi obtida a informação desta prática, e quando.