Triaje de calidad de imagen en el PNLD — un ensayo aleatorizado de un asistente CNN con 76 analistas brasileños de libros de texto

El Programa Nacional do Livro e do Material Didático (PNLD), creado en 1937 y gestionado por el Fundo Nacional de Desenvolvimento da Educação (FNDE) junto con el Ministerio de Educación, evalúa y distribuye libros de texto a las escuelas públicas de Brasil. Su ciclo de evaluación puede tardar al menos dos años e implica a cientos de profesionales en trabajo de revisión manual, incluida la valoración de la calidad técnica de las imágenes impresas en los libros candidatos.

Investigadores del Núcleo de Excelencia en Tecnologías Sociales (NEES) de la Universidad Federal de Alagoas, con coautores de varias universidades brasileñas e internacionales, construyeron una red neuronal convolucional para clasificar cada imagen de libro de texto como nítida, desenfocada por desenfoque óptico o desenfocada por movimiento, de modo que los analistas puedan concentrarse en los casos señalados por el modelo.

El equipo realizó un estudio paralelo de dos brazos con aleatorización 1:1 y 76 analistas de libros de texto, personas que realmente realizan el trabajo de evaluación del PNLD y no una muestra de conveniencia. Los participantes hicieron una prueba inicial y una prueba final tras la evaluación inicial; el desenlace primario fue la puntuación de la prueba final, y los desenlaces secundarios fueron la productividad de los analistas y la calidad de sus evaluaciones.

El componente de IA aumentó significativamente la productividad: el grupo experimental evaluó sustancialmente más imágenes que el grupo de control, y la calidad de la evaluación se mantuvo en lugar de sacrificarse por velocidad. El desenlace primario fue más débil —la diferencia entre la prueba inicial y la final fue modesta—, aunque los autores interpretan la dirección del efecto como evidencia de que trabajar con el componente de IA mejoró la propia capacidad de los analistas para distinguir categorías de defectos de imagen.

El ensayo evalúa un componente acotado —la clasificación de desenfoque en imágenes—, no la evaluación pedagógica que está en el centro del PNLD, por lo que el hallazgo de productividad no debe leerse como una afirmación sobre todo el ciclo de evaluación. Un estudio aleatorizado de un componente tampoco equivale a evidencia de una implementación en producción; el FNDE y el MEC llevan a cabo un esfuerzo más amplio de modernización del PNLD con el NEES, pero este ensayo concreto establece eficacia, no despliegue a escala. Una evaluación aleatorizada de una herramienta de IA gubernamental, con los propios funcionarios públicos que la usan, publicada en acceso abierto e incluyendo un desenlace primario casi nulo, es poco frecuente entre las afirmaciones de productividad de IA en el sector público.