O Algoritmo de Classificação de Exames de 2020 do Ofqual — Um Caso Nacional de Alerta na Avaliação Automatizada

Quando a pandemia de COVID-19 cancelou os exames de A-level e GCSE em Inglaterra em 2020, o regulador de exames Ofqual precisou de uma forma de atribuir notas sem a realização de exames. As escolas submeteram Notas de Avaliação do Centro (as notas previstas pelos professores) e uma ordenação dos alunos dentro de cada nota. O Ofqual aplicou então um modelo estatístico que ajustava estas previsões utilizando a distribuição histórica de notas de cada escola nos três anos anteriores e dados de desempenho a nível de disciplina no GCSE, de modo a evitar uma inflação nacional das notas em relação a anos anteriores.

Quando os resultados foram divulgados a 13 de agosto de 2020, o modelo tinha descido 39% das notas previstas pelos professores em pelo menos um nível. O próprio diretor-adjunto do Ofqual confirmou que os alunos de contextos desfavorecidos tinham maior probabilidade de sofrer ajustes descendentes mais acentuados, enquanto o modelo não era aplicado a turmas com menos de 15 alunos — uma categoria que incluía muitas escolas privadas — pelo que a proporção de alunos de escolas privadas com notas máximas aumentou mais do que a dos alunos de escolas públicas. Seguiu-se indignação pública, protestos de estudantes e críticas de todos os partidos; a 17 de agosto, apenas quatro dias depois do dia dos resultados, o Ofqual recuou e atribuiu aos alunos as notas previstas pelos professores. O regulador-chefe do Ofqual demitiu-se a 25 de agosto, e o secretário permanente do Ministério da Educação demitiu-se a 28 de agosto.

O episódio é hoje amplamente utilizado no ensino de políticas educativas e ética de dados como um caso de estudo sobre o que pode correr mal quando um algoritmo otimiza para um alvo estatístico populacional (fazer corresponder distribuições históricas nacionais de notas) à custa da justiça individual, sem escrutínio adequado antes da divulgação, consulta aos alunos afetados, ou transparência sobre a forma como o modelo trataria turmas pequenas e desfavorecidas.