Tri de la qualité des images au PNLD — un essai randomisé d'un assistant CNN avec 76 analystes brésiliens de manuels scolaires

Le Programa Nacional do Livro e do Material Didático (PNLD), créé en 1937 et géré par le Fundo Nacional de Desenvolvimento da Educação (FNDE) avec le ministère de l'Éducation, évalue et distribue des manuels scolaires aux écoles publiques du Brésil. Son cycle d'évaluation peut durer au moins deux ans et mobilise des centaines de professionnels pour un travail de révision manuelle, y compris l'appréciation de la qualité technique des images imprimées dans les manuels candidats.

Des chercheurs du Nucleus of Excellence in Social Technologies (NEES) de l'Université fédérale d'Alagoas, avec des coauteurs de plusieurs universités brésiliennes et internationales, ont construit un réseau de neurones convolutif pour classer chaque image de manuel comme nette, floue par défocalisation ou floue par mouvement, afin que les analystes puissent se concentrer sur les cas signalés par le modèle.

L'équipe a mené une étude parallèle à deux bras avec randomisation 1:1 et 76 analystes de manuels, des personnes effectuant réellement le travail d'évaluation du PNLD plutôt qu'un échantillon de commodité. Les participants ont passé un test initial et un test final après l'évaluation initiale ; le critère principal était le score du test final, et les critères secondaires étaient la productivité des analystes et la qualité de leurs évaluations.

La composante IA a significativement accru la productivité : le groupe expérimental a évalué nettement plus d'images que le groupe témoin, et la qualité de l'évaluation a été préservée plutôt que sacrifiée à la vitesse. Le critère principal était plus faible, l'écart entre le test initial et le test final étant modeste, bien que les auteurs interprètent la direction de l'effet comme la preuve que le travail avec la composante IA a amélioré la propre capacité des analystes à distinguer les catégories de défauts d'image.

L'essai ne teste qu'une composante restreinte, la classification du flou sur les images, et non l'évaluation pédagogique au cœur du PNLD, si bien que le résultat de productivité ne doit pas être interprété comme une affirmation sur l'ensemble du cycle d'évaluation. Une étude randomisée d'une composante n'équivaut pas non plus à une preuve de déploiement en production ; le FNDE et le MEC mènent un effort de modernisation plus large du PNLD avec le NEES, mais cet essai spécifique établit une efficacité, non un déploiement à grande échelle. Une évaluation randomisée d'un outil d'IA gouvernemental, menée avec les agents publics qui l'utilisent réellement, publiée en accès libre et incluant un résultat principal quasi nul, est rare parmi les affirmations de productivité de l'IA dans le secteur public.