L'Algorithme de Notation des Examens de 2020 d'Ofqual — Un Cas National d'Alerte en Évaluation Automatisée

Lorsque la pandémie de COVID-19 a entraîné l'annulation des examens A-level et GCSE en Angleterre en 2020, le régulateur des examens Ofqual a dû trouver un moyen d'attribuer des notes sans épreuves. Les établissements ont soumis des notes d'évaluation d'établissement (les notes prédites par les enseignants) ainsi qu'un classement des élèves au sein de chaque note. Ofqual a ensuite appliqué un modèle statistique ajustant ces prédictions à partir de la distribution historique des notes de chaque établissement sur les trois années précédentes et des données de résultats GCEO par matière, afin d'éviter une inflation nationale des notes par rapport aux années précédentes.

Lors de la publication des résultats le 13 août 2020, le modèle avait abaissé de 39 % les notes prédites par les enseignants d'au moins un niveau. Le directeur adjoint d'Ofqual a lui-même confirmé que les élèves issus de milieux défavorisés étaient plus susceptibles de subir des ajustements à la baisse plus importants, tandis que le modèle n'était pas appliqué aux cohortes de moins de 15 élèves — une catégorie qui incluait de nombreux établissements privés payants — de sorte que la proportion d'élèves du privé obtenant les meilleures notes a augmenté davantage que celle des élèves du public. La colère publique, les manifestations d'élèves et les critiques transpartisanes ont suivi ; le 17 août, quatre jours seulement après le jour des résultats, Ofqual a fait marche arrière et attribué aux élèves les notes prédites par leurs enseignants. Le régulateur en chef d'Ofqual a démissionné le 25 août, et le secrétaire permanent du ministère de l'Éducation a démissionné le 28 août.

Cet épisode est aujourd'hui largement utilisé dans l'enseignement des politiques éducatives et de l'éthique des données comme étude de cas de ce qui peut mal tourner lorsqu'un algorithme optimise un objectif statistique de population (faire correspondre les distributions historiques nationales des notes) au détriment de l'équité individuelle, sans contrôle adéquat avant la publication, sans consultation des élèves concernés, ni transparence sur la façon dont le modèle traiterait les petites cohortes et les cohortes défavorisées.