L'Évaluation de l'incidence algorithmique du Canada — un score de risque obligatoire et publié pour chaque décision gouvernementale automatisée

Le Secrétariat du Conseil du Trésor du Canada a introduit la Directive sur la prise de décisions automatisée le 1er avril 2019, exigeant des institutions fédérales qu'elles évaluent tout système automatisé utilisé pour prendre ou appuyer une décision administrative concernant une personne.

L'outil d'évaluation — l'Évaluation de l'incidence algorithmique (EIA) — a été conçu de façon ouverte, avec son code source publié, et pose 65 questions de risque et 41 questions d'atténuation portant sur la conception du système, le type de décision, son incidence et les données qu'il utilise.

L'EIA produit l'un des quatre niveaux d'incidence ; plus le niveau est élevé, plus la directive impose d'exigences, allant des avis en langage clair et de la supervision humaine jusqu'à l'examen par les pairs indépendant et la publication du code source. Les évaluations complétées sont publiées sur le Portail du gouvernement ouvert.

Des dizaines de systèmes fédéraux de décision automatisée — couvrant des domaines tels que le tri des dossiers d'immigration et l'administration des prestations — disposent désormais d'une EIA publique.

Des examinateurs indépendants, dont le Montreal AI Ethics Institute, notent que le processus repose toujours sur une auto-notation par le ministère propriétaire du système, et que les obligations de la directive s'appliquent de façon prospective, si bien que de nombreux outils automatisés créés avant 2019 ne sont pas tenus de disposer d'une évaluation publiée.