Auditar algoritmos de aprendizagem automática — um livro branco e catálogo de auditoria desenvolvidos por cinco instituições superiores de controlo

Em novembro de 2020, o Gabinete do Auditor-Geral da Noruega, com cientistas de dados das instituições superiores de controlo (ISC) da Finlândia, Alemanha, Países Baixos e Reino Unido, publicou 'Auditing Machine Learning Algorithms: A White Paper for Public Auditors'. Foi escrito porque existia pouca orientação sobre como os auditores devem examinar sistemas de IA e aprendizagem automática usados em serviços públicos.
O documento resume os principais riscos, incluindo o tratamento desigual automatizado e institucionalizado e a produção em massa de decisões incorretas ou discriminatórias, e propõe um catálogo de auditoria com abordagens metodológicas em três áreas: gestão e governação do projeto, dados (qualidade, enviesamento, privacidade, RGPD) e desenvolvimento do modelo (documentação, reprodutibilidade, equidade). É orientação, não uma lista de verificação fixa. Está publicado abertamente em auditingalgorithms.net e foi descrito pelo INTOSAI Journal e pelo National Audit Office do Reino Unido.
Limites da evidência: nenhuma das fontes indica quantas auditorias usaram o catálogo nem o que concluíram, pelo que o impacto e a replicação não estão documentados. O seu valor é ser um método aberto e multi-institucional que outras ISC podem reutilizar.