La revisión del CDEI sobre sesgos en la toma de decisiones algorítmicas en el Reino Unido (2020)

En 2019, el gobierno del Reino Unido encargó al Centro para la Ética y la Innovación de Datos (CDEI), un organismo consultivo entonces adscrito al Departamento de Digital, Cultura, Medios y Deporte, revisar el uso de algoritmos en decisiones significativas sobre personas. Publicó su informe final el 27 de noviembre de 2020, basado en estudios de caso detallados en cuatro sectores: servicios financieros, administración local, policía y contratación.
En el ámbito de la contratación en particular, la revisión encontró que las herramientas automatizadas de preselección y emparejamiento, entrenadas con los datos históricos de contratación de una empresa, podían descartar sistemáticamente a candidatas, porque los datos de entrenamiento reflejaban décadas de decisiones de contratación sesgadas a favor de los hombres, un ejemplo clásico de un algoritmo que hereda los sesgos de sus datos de entrada en lugar de eliminarlos.
Para abordarlo, el CDEI recomendó una obligación de transparencia para los organismos del sector público que utilicen algoritmos en decisiones significativas, y pidió orientación gubernamental que aclarara cómo se aplican a los sistemas algorítmicos las protecciones contra la discriminación por sexo de la Ley de Igualdad de 2010, además de mejores directrices sobre la recopilación de los datos necesarios para medir el sesgo. Comentaristas independientes, incluido el Ada Lovelace Institute, criticaron partes de la revisión, argumentando que las propuestas de transparencia necesitaban fuerza legal, y no solo orientación voluntaria, para ser eficaces.
La propia revisión no hizo obligatoria ninguna de sus recomendaciones, y el CDEI fue posteriormente integrado en la Responsible Technology Adoption Unit en 2023; ninguna evaluación independiente posterior ha medido si el sesgo de género en los algoritmos de contratación realmente disminuyó como resultado, por lo que este caso debe leerse como un diagnóstico fundamentado y una plantilla de diseño de políticas, no como una solución probada.