El modelo de riesgo de fraude de Róterdam — un algoritmo de ayudas sociales suspendido tras una auditoría y una investigación periodística

El ayuntamiento de Róterdam usó un modelo de aprendizaje automático, desarrollado con la consultora Accenture, para asignar a cada uno de sus unos 30 000 beneficiarios de ayudas sociales una puntuación de riesgo de fraude entre 0 y 1. Los técnicos investigaban después a las personas con puntuaciones más altas. Según el análisis del código de Follow the Money, el modelo empleaba 315 variables, entre ellas edad, género, estado civil, unas 20 variables sobre dominio del neerlandés y valoraciones subjetivas de los técnicos. Se entrenó con unos 12 700 beneficiarios investigados previamente.
En 2023, Lighthouse Reports y VPRO obtuvieron el código y la documentación técnica, que la ciudad había divulgado voluntariamente en parte; los datos de entrenamiento no se divulgaron. Su análisis halló que las personas con poco dominio del neerlandés aparecían unas dos veces más en el grupo de mayor riesgo, que las mujeres puntuaban más solo por ser mujeres y que las madres solteras eran señaladas un 43 % más a menudo que las mujeres solteras sin hijos. Lighthouse indica que cientos de beneficiarios perdieron prestaciones tras las investigaciones. Según Follow the Money, el modelo detectaba fraude en unos 39 de cada 100 controles, frente a 25 en una selección aleatoria.
Róterdam suspendió el sistema a finales de 2021, después de que su oficina municipal de auditoría (Rekenkamer Rotterdam) señalara riesgos éticos vinculados a criterios discriminatorios y de que una revisión ética encargada por el Gobierno fuera crítica. La ciudad dijo que desarrollaría una versión revisada. El caso se incluye como ejemplo de cautela: el escrutinio independiente detuvo el modelo, pero solo tras años de funcionamiento y sin un registro público de algoritmos.