Algoritmo de controlo de fraude da DUO — perfilagem de estudantes nos Países Baixos considerada indiretamente discriminatória

A agência neerlandesa de educação (DUO) usou entre 2012 e 2023 um algoritmo simples de perfilagem de risco, baseado em regras, para escolher estudantes com bolsa complementar para visitas domiciliárias que verificavam se viviam realmente longe dos pais. Os critérios eram o tipo de ensino (o ensino profissional/MBO pontuava mais), a distância entre a morada do estudante e a dos pais (menor distância pontuava mais) e a idade (mais jovem pontuava mais). Ninguém testou se estes indicadores eram justificados nem se geravam resultados desiguais.

A imprensa e uma revisão externa posterior (PwC, publicada a 1 de março de 2024) concluíram que o sistema levou, de forma indireta, à discriminação de estudantes de origem migrante não europeia. Cerca de 27 000 estudantes foram visitados e quase 10 000 foram acusados de fraude; dos 376 casos analisados por advogados, 97% envolviam estudantes com raízes em minorias étnicas. O ministro da Educação pediu desculpa e, em abril de 2026, anunciou compensações de 500 € para cerca de 12 000 estudantes visitados e de 2000 € para cerca de 10 000 estudantes cuja bolsa foi cortada ou que foram sancionados.

Uma auditoria académica independente (Holstege et al., arXiv 2502.01713) aplicou uma ferramenta não supervisionada de deteção de enviesamento, concebida para funcionar sem dados demográficos, às pontuações de mais de 250 000 estudantes entre 2012 e 2023 e identificou as mesmas disparidades conhecidas. A ferramenta foi publicada em código aberto.

É um caso de cautela: um modelo transparente e até simplista pode discriminar quando os indicadores se correlacionam com a origem étnica e não há testes de enviesamento, documentação nem possibilidade de contestação. As lições são auditorias de enviesamento antes da implementação, justificação documentada de cada critério e monitorização contínua; a ferramenta de auditoria de código aberto é um resultado reutilizável.