Le groupe de travail new-yorkais sur les systèmes de décision automatisée — le registre qui n'a jamais vu le jour

En décembre 2017, le Conseil municipal de New York a adopté le texte Int. 1696, devenu la loi locale 49 de 2018. Une version antérieure du texte aurait obligé les agences municipales à publier le code source des algorithmes utilisés dans des décisions individuelles ; cette exigence a été abandonnée au profit de la constitution d'un groupe de travail municipal chargé d'étudier la question. Le maire Bill de Blasio a convoqué le groupe de travail sur les systèmes de décision automatisée (ADS) en mai 2018 — la première instance gouvernementale de ce type aux États-Unis.
Pendant 18 mois, le groupe de travail, composé de responsables municipaux et d'experts externes, a tenté sans succès de s'accorder sur ce qui devait constituer un « système de décision automatisée ». La définition légale était assez large pour inclure, en théorie, un simple tableur avec une formule de somme ; certains membres voulaient la garder large pour ne pas laisser passer des outils à risque, d'autres voulaient la restreindre pour rendre la supervision praticable, et aucun consensus n'a été trouvé sur une autre définition. Son rapport final, publié en novembre 2019, énonce des principes généraux et des recommandations de procédure, mais ne nomme aucun système municipal précis et ne contient aucun inventaire public des outils automatisés réellement utilisés par les agences de la ville de New York.
Un « rapport parallèle » de décembre 2019, Confronting Black Boxes, publié par l'AI Now Institute avec l'ACLU, la New York Civil Liberties Union, le Brennan Center for Justice et d'autres organisations, a documenté que les agences municipales avaient résisté même à une divulgation minimale pendant le processus. Un participant, Albert Fox Cahn, du Surveillance Technology Oversight Project, a décrit « des retards, des obscurcissements, puis, dès le printemps 2019, des refus purs et simples ». La première recommandation du rapport parallèle au département de police de New York était qu'il « doit établir un inventaire public des systèmes ADS qu'il utilise » — preuve que, plus de dix-huit mois après le début du processus, la police de la ville elle-même ne l'avait toujours pas fait.
Inclus ici comme un cas d'avertissement : un processus de transparence légalement imposé, sans obligation exécutoire de divulguer des systèmes précis, a produit des rapports et des recommandations générales tout en laissant largement intacte l'opacité sous-jacente de l'usage gouvernemental de l'IA.