Triagem de qualidade de imagem no PNLD — um ensaio aleatorizado de um assistente CNN com 76 avaliadores brasileiros de livros didáticos

O Programa Nacional do Livro e do Material Didático (PNLD), criado em 1937 e gerido pelo Fundo Nacional de Desenvolvimento da Educação (FNDE) em conjunto com o Ministério da Educação, avalia e distribui livros didáticos às escolas públicas do Brasil. O seu ciclo de avaliação pode demorar pelo menos dois anos e envolve centenas de profissionais em trabalho de revisão manual, incluindo a avaliação da qualidade técnica das imagens impressas nos livros candidatos.

Investigadores do Núcleo de Excelência em Tecnologias Sociais (NEES) da Universidade Federal de Alagoas, com coautores de várias universidades brasileiras e internacionais, construíram uma rede neuronal convolucional para classificar cada imagem de livro didático como nítida, desfocada por desfoque ótico ou desfocada por movimento, permitindo que os analistas se concentrem nos casos sinalizados pelo modelo.

A equipa realizou um estudo paralelo de dois braços com randomização 1:1 e 76 analistas de livros didáticos, pessoas que efetivamente realizam o trabalho de avaliação do PNLD, e não uma amostra de conveniência. Os participantes fizeram um teste inicial e um teste final após a avaliação inicial; o desfecho primário foi a pontuação do teste final, e os desfechos secundários foram a produtividade dos analistas e a qualidade das suas avaliações.

A componente de IA aumentou significativamente a produtividade: o grupo experimental avaliou substancialmente mais imagens do que o grupo de controlo, e a qualidade da avaliação foi preservada, em vez de ser trocada por velocidade. O desfecho primário foi mais fraco — a diferença entre o teste inicial e o final foi modesta —, embora os autores interpretem a direção do efeito como evidência de que trabalhar com a componente de IA melhorou a própria capacidade dos analistas de distinguir categorias de defeitos de imagem.

O ensaio testa uma componente restrita — a classificação de desfoque em imagens —, e não a avaliação pedagógica que está no centro do PNLD, pelo que o resultado de produtividade não deve ser lido como uma afirmação sobre o ciclo de avaliação como um todo. Um estudo aleatorizado de uma componente também não equivale a evidência de implementação em produção; o FNDE e o MEC têm em curso um esforço mais amplo de modernização do PNLD com o NEES, mas este ensaio específico estabelece eficácia, não implementação em escala. Uma avaliação aleatorizada de uma ferramenta de IA governamental, com os próprios funcionários públicos que a utilizam, publicada em acesso aberto e incluindo um desfecho primário quase nulo, é rara entre as afirmações de produtividade de IA no setor público.