L'examen du CDEI sur les biais dans la prise de décision algorithmique au Royaume-Uni (2020)

En 2019, le gouvernement britannique a chargé le Centre pour l'éthique et l'innovation des données (CDEI), un organisme consultatif alors rattaché au ministère du Numérique, de la Culture, des Médias et du Sport, d'examiner l'utilisation d'algorithmes dans des décisions importantes concernant des individus. Il a publié son rapport final le 27 novembre 2020, s'appuyant sur des études de cas détaillées dans quatre secteurs : les services financiers, les administrations locales, la police et le recrutement.
Dans le recrutement en particulier, l'examen a révélé que des outils automatisés de présélection et d'appariement, entraînés sur les données historiques d'embauche d'une entreprise, pouvaient écarter systématiquement des candidates, parce que les données d'entraînement reflétaient des décennies de décisions d'embauche favorisant les hommes — un exemple classique d'algorithme héritant des biais de ses données plutôt que de les corriger.
Pour y remédier, le CDEI a recommandé une obligation de transparence pour les organismes publics utilisant des algorithmes dans des décisions importantes, et a appelé à des lignes directrices gouvernementales précisant comment les protections contre la discrimination sexuelle de la loi sur l'égalité de 2010 s'appliquent aux systèmes algorithmiques, ainsi qu'à de meilleures directives sur la collecte des données nécessaires pour mesurer les biais. Des commentateurs indépendants, dont l'Ada Lovelace Institute, ont critiqué certains aspects de l'examen, estimant que les propositions de transparence devaient avoir une portée juridique contraignante plutôt que de simples lignes directrices volontaires pour être efficaces.
L'examen lui-même n'a rendu aucune de ses recommandations obligatoire, et le CDEI a ensuite été intégré à la Responsible Technology Adoption Unit en 2023 ; aucune évaluation indépendante postérieure n'a mesuré si les biais de genre dans les algorithmes de recrutement ont réellement diminué en conséquence, ce qui en fait davantage un diagnostic étayé et un modèle de conception de politiques qu'une solution éprouvée.