COMPAS et State v. Loomis — un score propriétaire de récidive admis lors de la condamnation aux États-Unis, avec des mises en garde obligatoires

COMPAS est un outil commercial d'évaluation du risque (Northpointe, aujourd'hui Equivant) qui note le risque de récidive à partir d'un questionnaire de 137 items. Le département des services correctionnels du Wisconsin l'utilisait dans les rapports présentenciels.
Dans State v. Loomis (881 N.W.2d 749, 13 juillet 2016), la Cour suprême du Wisconsin a jugé que la prise en compte d'un score COMPAS lors de la condamnation ne viole pas le procès équitable si l'on en connaît les limites. Elle a exigé que tout rapport présentenciel contenant un score COMPAS comporte des avertissements écrits : la méthode propriétaire n'est pas divulguée, l'outil a été calibré sur des données nationales et non du Wisconsin, des études suggèrent qu'il peut classer plus souvent les délinquants issus des minorités comme à risque élevé, il exige un suivi et un réétalonnage continus, et il a été conçu pour l'administration pénitentiaire, non pour la condamnation. Les scores ne peuvent déterminer ni l'incarcération ni la sévérité de la peine.
Les preuves indépendantes sur la performance sont peu flatteuses. Dressel et Farid (Science Advances, 17 janvier 2018), sur 1 000 prévenus du comté de Broward en Floride, ont mesuré 65,2 % de précision pour COMPAS contre 67 % pour des volontaires disposant de sept variables, et un modèle à deux variables (âge et condamnations antérieures) faisait à peu près aussi bien.
Enseignement : un régime judiciaire de divulgation et de limites est une atténuation de gouvernance, pas une validation. Le cas sert de référence prudente pour les organismes publics qui achètent des outils de notation opaques.