Försäkringskassan's discriminatory welfare-fraud AI (Sweden)

A Försäkringskassan (Agência Sueca de Segurança Social) utilizou, pelo menos desde 2013, um algoritmo de aprendizagem automática para atribuir pontuações de risco a requerentes de prestações sociais — sobretudo os que reclamavam apoio temporário para filhos — a fim de priorizar casos para investigação de fraude. O sistema funcionava sem conhecimento público e era descrito internamente como o 'segredo mais bem guardado' da agência.

Em novembro de 2024, a Lighthouse Reports e o Svenska Dagbladet publicaram a investigação 'Sweden's Suspicion Machine', revelando que o algoritmo assinalava de forma desproporcionada mulheres, pessoas com antecedentes migratórios, pessoas de baixos rendimentos e pessoas sem formação universitária. Testes contra seis métricas estatísticas de equidade confirmaram um enviesamento sistémico, ecoando um relatório de 2018 do Inspetorado Sueco de Segurança Social (ISF) que concluiu que o algoritmo 'não cumpre a igualdade de tratamento' — conclusões que a Försäkringskassan rejeitou na altura, continuando a operar o sistema. A Autoridade de Proteção de Dados sueca (IMY) abriu uma investigação na sequência das revelações da Lighthouse Reports, e em junho de 2025 a Försäkringskassan suspendeu o modelo, reconhecendo mais tarde 'falhas na transparência e na gestão de risco' e introduzindo supervisão manual temporária.

A Comissão de Integridade sueca já tinha alertado, em 2016, para riscos à integridade pessoal dos cidadãos, e a agência recusou praticamente todos os pedidos de acesso à informação sobre o sistema ao longo de vários anos; a Amnistia Internacional apelou às autoridades suecas para descontinuarem o sistema em novembro de 2024. Este caso é paralelo ao SyRI dos Países Baixos e constitui um exemplo cautelar de como a pontuação de risco por aprendizagem automática na segurança social pode incorporar desigualdade estrutural quando implementada sem auditoria de equidade adequada, mecanismos de reparação significativos ou escrutínio regulatório genuíno.