evidoria

← Volver al listado

Buena práctica Importada

Smart Check — Ámsterdam Construyó una IA 'Justa' contra el Fraude Social y Luego la Archivó Cuando el Sesgo Reapareció en Pruebas Reales

Países Bajos · Amsterdam · Ver el perfil de Países Bajos · Ver el perfil de Amsterdam

Evidencia: Cuasiexperimental Top 24% 73/100 · Pregunte a Evidence Copilot sobre esta práctica

Ámsterdam dedicó unos cinco años y cerca de 535.000 euros a construir Smart Check, un algoritmo de detección de fraude en ayudas sociales diseñado para evitar la discriminación. En una prueba real de 2023 con unas 1.600 solicitudes, no fue más preciso que el personal humano y seguía mostrando sesgo, por lo que la ciudad lo archivó.

€535,000
Coste del proyecto
~1,600
Solicitudes de asistencia social evaluadas en el piloto de 2023
Smart Check — Ámsterdam Construyó una IA 'Justa' contra el Fraude Social y Luego la Archivó Cuando el Sesgo Reapareció en Pruebas Reales

Detalles

Madurez
Descontinuada
Promotor
City of Amsterdam, Department of Work, Income and Participation
Período
2019–2023
Palabras clave
social welfare, algorithmic fairness, fraud detection, public administration

Contexto

Después de que un tribunal neerlandés anulara en 2020 el algoritmo nacional de fraude social SyRI por vulnerar derechos humanos, Ámsterdam se propuso demostrar que una herramienta de detección de fraude asistida por IA podía construirse de forma justa.

Actividades

El Departamento de Trabajo, Ingresos y Participación de la ciudad construyó Smart Check, un modelo 'explainable boosting machine' que puntuaba unas 15 características, excluyendo deliberadamente género, nacionalidad, edad y variables proxy como el código postal. Los responsables encargaron auditorías de sesgo, evaluaciones de derechos humanos y recogieron opiniones de beneficiarios, reponderando los datos de entrenamiento tras detectar sesgo en las primeras pruebas.

Resultados

Desplegado en unas 1.600 solicitudes reales en 2023, Smart Check resultó no ser más preciso que los trabajadores sociales, y el sesgo reapareció de otra forma (señalando en exceso a ciudadanos neerlandeses, mujeres y solicitantes con hijos).

Conclusiones

Ámsterdam suspendió el proyecto en noviembre de 2023 y publicó el código, la documentación del modelo y los datos de auditoría, produciendo un caso de estudio inusualmente transparente sobre por qué la ingeniería de equidad por sí sola no garantiza un resultado no discriminatorio.

Implementación
Coste indicativo
Medio (50 000–500 000 €)
Tiempo hasta resultados
Largo (> 3 años)
Personal y competencias
Amsterdam Department of Work, Income and Participation, Deloitte (€35,000 contract), academic and welfare-recipient consultees

Condiciones para el éxito

  • excluding protected/proxy variables from the model
  • independent bias audits before and during deployment

Modos de fallo comunes

  • bias resurfaced in a different form after reweighting
  • no more accurate than existing caseworker judgement
  • project ultimately shelved

Habitualmente financiado por

Own resources / municipal budget

Vías de financiación indicativas para prácticas de este tipo: compruebe siempre las convocatorias vigentes y las reglas de elegibilidad de cada programa.

¿Usted implementa esta práctica? Reivindíquela — los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.

Fuentes de datos

De dónde se obtuvo la información de esta práctica, y cuándo.

Adjuntos

Prácticas similares que pueden serle útiles