Auditer les algorithmes d'apprentissage automatique — un livre blanc et un catalogue d'audit élaborés par cinq institutions supérieures de contrôle

En novembre 2020, le Bureau du Vérificateur général de Norvège, avec des data scientists des institutions supérieures de contrôle (ISC) de Finlande, d'Allemagne, des Pays-Bas et du Royaume-Uni, a publié « Auditing Machine Learning Algorithms: A White Paper for Public Auditors ». Il répondait au manque d'orientations sur la manière dont les auditeurs doivent examiner les systèmes d'IA et d'apprentissage automatique utilisés dans les services publics.
Le document résume les principaux risques, notamment le traitement inégal automatisé et institutionnalisé et la production massive de décisions erronées ou discriminatoires, et propose un catalogue d'audit avec des approches méthodologiques dans trois domaines : gestion et gouvernance du projet, données (qualité, biais, vie privée, RGPD) et développement du modèle (documentation, reproductibilité, équité). Il s'agit d'orientations, non d'une liste de contrôle figée. Il est publié en accès libre sur auditingalgorithms.net et a été présenté par l'INTOSAI Journal et le National Audit Office britannique.
Limites des preuves : aucune source ne indique combien d'audits ont utilisé le catalogue ni leurs conclusions ; l'impact et la réplication ne sont donc pas documentés. Sa valeur tient à une méthode ouverte et multi-institutionnelle réutilisable par d'autres ISC.