evidoria

← Voltar à navegação

Boa prática Importada

Smart Check — Amesterdão Construiu uma IA 'Justa' para Detetar Fraude Social e Depois Arquivou-a Quando o Enviesamento Reapareceu em Testes Reais

Países Baixos · Amsterdam · Ver o perfil de Países Baixos · Ver o perfil de Amsterdam

Evidência: Quase-experimental Top 24% 73/100 · Pergunte a Evidence Copilot sobre esta prática

Amesterdão gastou cerca de cinco anos e aproximadamente 535 mil euros a construir o Smart Check, um algoritmo de deteção de fraude social concebido para evitar discriminação. Num teste real em 2023 com cerca de 1.600 pedidos, não foi mais preciso do que os técnicos humanos e continuou a mostrar enviesamento, pelo que a cidade o arquivou.

€535,000
Custo do projeto
~1,600
Candidaturas de assistência social ao rendimento avaliadas no piloto de 2023
Smart Check — Amesterdão Construiu uma IA 'Justa' para Detetar Fraude Social e Depois Arquivou-a Quando o Enviesamento Reapareceu em Testes Reais

Detalhes

Maturidade
Descontinuada
Promotor
City of Amsterdam, Department of Work, Income and Participation
Período
2019–2023
Palavras-chave
social welfare, algorithmic fairness, fraud detection, public administration

Contexto

Depois de um tribunal neerlandês ter derrubado o algoritmo nacional de fraude social SyRI em 2020 por violar direitos humanos, Amesterdão propôs-se demonstrar que uma ferramenta de deteção de fraude assistida por IA podia ser construída de forma justa.

Atividades

O Departamento de Trabalho, Rendimento e Participação da cidade construiu o Smart Check, um modelo 'explainable boosting machine' que pontuava cerca de 15 características, excluindo deliberadamente género, nacionalidade, idade e variáveis-proxy como o código postal. Os responsáveis encomendaram auditorias de viés, avaliações de direitos humanos e recolheram feedback de beneficiários, reponderando os dados de treino após os primeiros testes revelarem viés.

Resultados

Implementado em cerca de 1600 candidaturas reais em 2023, o Smart Check revelou-se não mais preciso do que os assistentes sociais, e o viés ressurgiu de outra forma (sinalizando em excesso cidadãos neerlandeses, mulheres e candidatos com filhos).

Conclusões

Amesterdão suspendeu o projeto em novembro de 2023 e publicou o código, a documentação do modelo e os dados de auditoria, produzindo um estudo de caso invulgarmente transparente sobre porque razão a engenharia de equidade, por si só, não garante um resultado não discriminatório.

Implementação
Custo indicativo
Médio (50 mil–500 mil €)
Tempo até resultados
Longo (> 3 anos)
Equipa e competências
Amsterdam Department of Work, Income and Participation, Deloitte (€35,000 contract), academic and welfare-recipient consultees

Condições de sucesso

  • excluding protected/proxy variables from the model
  • independent bias audits before and during deployment

Modos de falha comuns

  • bias resurfaced in a different form after reweighting
  • no more accurate than existing caseworker judgement
  • project ultimately shelved

Habitualmente financiado por

Own resources / municipal budget

Vias de financiamento indicativas para práticas deste tipo — verifique sempre os avisos abertos e as regras de elegibilidade de cada programa.

Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.

Fontes de dados

De onde foi obtida a informação desta prática, e quando.

Anexos

Práticas semelhantes que podem ser úteis