SyRI — sistema holandés de detección de fraude de prestaciones anulado por los tribunales

El System Risico Indicatie (SyRI) combinaba grandes volúmenes de datos de ciudadanos para generar indicaciones de riesgo de fraude en las prestaciones sociales, desplegado sobre todo en barrios de bajos ingresos en los Países Bajos.

El objetivo declarado de SyRI era detectar el riesgo de fraude en las prestaciones sociales combinando y cruzando grandes volúmenes de datos de ciudadanos.

El 5 de febrero de 2020, el Tribunal de Distrito de La Haya ordenó la suspensión de SyRI, dictaminando que la legislación subyacente era ilegal: el sistema era demasiado opaco, recopilaba demasiados datos y no lograba un equilibrio justo con el derecho a la vida privada consagrado en el artículo 8 del Convenio Europeo de Derechos Humanos. Un experto de la ONU lo calificó como una advertencia contra las 'distopías del bienestar digital' que espían a los pobres.

Se trata de un antimodelo cautelar, incluido deliberadamente: debe puntuar bajo en todos los aspectos, porque careció de transparencia, proporcionalidad y salvaguardas adecuadas, precisamente los fallos que una práctica responsable de IA en el sector público debe evitar. SyRI es un sistema descontinuado, anulado por los tribunales, no un sistema en funcionamiento, y se documenta aquí como una lección sobre lo que no se debe replicar.