Modelo de risco de fraude de Roterdão — algoritmo de subsídios suspenso após auditoria e investigação jornalística

O município de Roterdão usou um modelo de aprendizagem automática, desenvolvido com a consultora Accenture, para atribuir a cada um dos cerca de 30 000 beneficiários de apoios sociais uma pontuação de risco de fraude entre 0 e 1. Os técnicos investigavam depois as pessoas com pontuações mais altas. Segundo a análise do código feita pelo Follow the Money, o modelo usava 315 variáveis, incluindo idade, género, estado civil, cerca de 20 variáveis sobre conhecimento do neerlandês e avaliações subjetivas dos técnicos. Foi treinado com cerca de 12 700 beneficiários anteriormente investigados.
Em 2023, a Lighthouse Reports e a VPRO obtiveram o código e a documentação técnica, que a cidade divulgara voluntariamente em parte; os dados de treino não foram divulgados. A análise concluiu que pessoas com pouco domínio do neerlandês surgiam cerca de duas vezes mais no grupo de maior risco, que as mulheres pontuavam mais apenas por serem mulheres e que as mães solteiras eram sinalizadas 43% mais vezes do que mulheres solteiras sem filhos. A Lighthouse indica que centenas de beneficiários perderam prestações após investigações. Segundo o Follow the Money, o modelo detetava fraude em cerca de 39 de cada 100 controlos, contra 25 numa seleção aleatória.
Roterdão suspendeu o sistema no fim de 2021, depois de o gabinete municipal de auditoria (Rekenkamer Rotterdam) levantar riscos éticos ligados a fatores discriminatórios e de uma revisão ética encomendada pelo Governo ter sido crítica. A cidade afirmou que desenvolveria uma versão revista. O caso é incluído como exemplo de cautela: o escrutínio independente travou o modelo, mas só após anos de funcionamento e sem um registo público de algoritmos.