O Grupo de Trabalho sobre Sistemas de Decisão Automatizada de Nova Iorque — o Registo que Nunca Chegou a Existir

Em dezembro de 2017, o Conselho Municipal de Nova Iorque aprovou o Int. 1696, mais tarde a Lei Local 49 de 2018. Uma versão anterior do projeto exigiria que as agências municipais publicassem o código-fonte dos algoritmos usados em decisões individuais; essa exigência foi retirada em favor da criação de um grupo de trabalho municipal para estudar a questão. O presidente da câmara Bill de Blasio convocou o Grupo de Trabalho sobre Sistemas de Decisão Automatizada (ADS) em maio de 2018 — o primeiro organismo governamental deste tipo nos Estados Unidos.
Ao longo de 18 meses, o Grupo de Trabalho, composto por funcionários municipais e especialistas externos, tentou, sem sucesso, chegar a acordo sobre o que deveria contar como "sistema de decisão automatizada". A definição legal era suficientemente ampla para incluir, em teoria, uma folha de cálculo com uma fórmula de soma; alguns membros queriam mantê-la ampla para não deixar de fora ferramentas de risco, outros queriam restringi-la para tornar a supervisão viável, e não se chegou a nenhuma alternativa consensual. O relatório final, publicado em novembro de 2019, estabelece princípios gerais e recomendações de processo, mas não nomeia nenhum sistema específico da cidade nem contém um inventário público das ferramentas automatizadas efetivamente usadas pelas agências de Nova Iorque.
Um "relatório-sombra" de dezembro de 2019, Confronting Black Boxes, publicado pelo AI Now Institute com a ACLU, a New York Civil Liberties Union, o Brennan Center for Justice e outras organizações, documentou que as agências municipais resistiram mesmo à divulgação mais básica durante o processo. Um dos participantes, Albert Fox Cahn, do Surveillance Technology Oversight Project, descreveu "atrasos, e ofuscações, e depois, já na primavera de 2019, recusas categóricas". A primeira recomendação do relatório-sombra ao Departamento de Polícia de Nova Iorque foi que este "deve elaborar um inventário público dos sistemas ADS que utiliza" — prova de que, mais de dezoito meses depois do início do processo, a própria polícia da cidade ainda não o tinha feito.
Incluído aqui como um caso de alerta: um processo de transparência legalmente exigido, sem uma obrigação vinculativa de divulgar sistemas específicos, produziu relatórios e recomendações gerais, mas deixou praticamente intacta a opacidade subjacente ao uso de IA pelo governo.