El grupo de trabajo de Nueva York sobre sistemas de decisión automatizada — el registro que nunca se construyó

En diciembre de 2017, el Concejo Municipal de Nueva York aprobó el Int. 1696, luego Ley Local 49 de 2018. Una versión anterior del proyecto habría exigido que las agencias municipales publicaran el código fuente de los algoritmos usados en decisiones individuales; ese requisito se eliminó a favor de convocar un grupo de trabajo municipal para estudiar el tema. El alcalde Bill de Blasio convocó el Grupo de Trabajo sobre Sistemas de Decisión Automatizada (ADS) en mayo de 2018, el primer organismo gubernamental de este tipo en Estados Unidos.
Durante 18 meses, el Grupo de Trabajo, integrado por funcionarios municipales y expertos externos, intentó sin éxito acordar qué debía contar como "sistema de decisión automatizada". La definición legal era lo bastante amplia como para incluir, en teoría, una hoja de cálculo con una fórmula de suma; algunos miembros querían mantenerla amplia para no dejar fuera herramientas riesgosas, otros querían acotarla para que la supervisión fuera viable, y no se llegó a ninguna alternativa consensuada. Su informe final, publicado en noviembre de 2019, establece principios generales y recomendaciones de proceso, pero no nombra ningún sistema municipal específico ni contiene un inventario público de las herramientas automatizadas que realmente usan las agencias de Nueva York.
Un "informe paralelo" de diciembre de 2019, Confronting Black Boxes, publicado por el AI Now Institute junto con la ACLU, la New York Civil Liberties Union, el Brennan Center for Justice y otras organizaciones, documentó que las agencias municipales se resistieron incluso a la divulgación más básica durante el proceso. Un participante, Albert Fox Cahn, del Surveillance Technology Oversight Project, describió "demoras, ofuscaciones y, para la primavera de 2019, negativas rotundas". La primera recomendación del informe paralelo al Departamento de Policía de Nueva York fue que "debe elaborar un inventario público de los sistemas ADS que utiliza" — prueba de que, más de dieciocho meses después de iniciado el proceso, la propia policía de la ciudad todavía no lo había hecho.
Incluido aquí como un caso de advertencia: un proceso de transparencia legalmente exigido, sin una obligación exigible de divulgar sistemas específicos, produjo informes y recomendaciones generales dejando en gran medida intacta la opacidad subyacente del uso gubernamental de la IA.