Ensaio de Correção Automática de Redações do NAPLAN — A Decisão da ACARA de Manter Corretores Humanos, Baseada em Evidências

Em 2015, a Australian Curriculum, Assessment and Reporting Authority (ACARA) avaliou sistemas de classificação automática de redações (AES) de quatro fornecedores — Measurement Incorporated, Pearson, Pacific Metrics e MetaMetrics — em comparação com textos persuasivos do NAPLAN corrigidos por avaliadores humanos. Os sistemas foram calibrados com 1.014 redações e depois testados com mais 339 redações. A ACARA tinha como objetivo alcançar, até 2020, uma avaliação de escrita do NAPLAN totalmente automatizada, mantendo os avaliadores humanos apenas como verificação de reserva, posicionando esta avaliação como um passo nessa direção.

A avaliação da ACARA visava determinar se os sistemas de classificação por IA conseguiam aproximar-se o suficiente dos avaliadores humanos, tanto nas pontuações globais como nos critérios individuais de escrita, para justificar a automatização da avaliação nacional de escrita do NAPLAN, de elevado risco. Defensores, como o investigador em educação Professor John Hattie, argumentaram que a classificação automática poderia ser muito mais precisa e consideravelmente mais barata do que a classificação humana.

Os quatro sistemas dos fornecedores foram avaliados quanto à concordância com os avaliadores humanos, tanto nas pontuações globais como nos critérios individuais de escrita, usando os conjuntos de redações de calibração e de teste. Após a avaliação técnica, os sindicatos de professores manifestaram oposição sustentada, alegando que algoritmos de classificação proprietários e não públicos não conseguiam julgar de forma fiável a criatividade, a ironia ou a lógica de um argumento, e que representavam um risco de enviesamento contra determinados grupos de alunos. Em dezembro de 2017, o Education Council da Austrália, o organismo ministerial nacional responsável pelo NAPLAN, decidiu formalmente contra o uso de AES na avaliação de escrita do NAPLAN, travando o percurso rumo à automatização total.

Os quatro sistemas de classificação automática de redações alcançaram uma concordância com os avaliadores humanos comparável, tanto nas pontuações globais como nos critérios individuais de escrita. Apesar disso, o plano da ACARA para alcançar a automatização total até 2020 foi abandonado após a decisão do Education Council da Austrália, em dezembro de 2017, contra o uso de AES na avaliação de escrita do NAPLAN. Quase uma década depois, o comunicado oficial de resultados da ACARA de 27 de março de 2026 — que abrange cerca de 4,5 milhões de testes online realizados por cerca de 1,3 milhões de alunos em mais de 9.300 escolas — refere que as respostas de escrita continuam a demorar substancialmente mais tempo a processar e a reportar do que os outros três domínios testados, o que é consistente com a manutenção da dependência de avaliadores humanos treinados.

Este é um caso raro e bem documentado de um sistema educativo que testou a IA face a um padrão técnico rigoroso, considerou-a estatisticamente competitiva com os avaliadores humanos, e ainda assim optou por não a implementar ao nível de maior risco. O Education Council da Austrália deu prioridade à transparência, à contestabilidade e ao julgamento humano em detrimento dos ganhos de eficiência e de custo prometidos pela automatização.