XAI-ED Consequential Assessment Framework — Auditoria à Documentação de Governação de IA em 13 Universidades Italianas ao Abrigo do AI Act da UE

O Regulamento de IA da UE classifica os sistemas de IA usados para avaliar resultados de aprendizagem como de alto risco ao abrigo do Anexo III, mas não especifica como as instituições devem avaliar a sua própria conformidade. Investigadores do Conselho Nacional de Investigação de Itália (CNR), com a Universidade de Bolonha e a Universidade de Bari 'Aldo Moro', construíram o XAI-ED Consequential Assessment Framework (CAF), uma lista de verificação de 27 itens e quatro pontos que operacionaliza os requisitos de IA de confiança ALTAI da UE, alicerçada em teoria estabelecida de avaliação educativa (o quadro de validade de Messick, o modelo de quatro níveis de Kirkpatrick e o modelo CIPP de Stufflebeam).

Dar às universidades e reguladores uma forma replicável e de baixo custo de auto-auditar a documentação de governação da IA de avaliação, antes de as disposições de alto risco do Regulamento de IA da UE entrarem em vigor a partir de agosto de 2026.

Quatro codificadores independentes aplicaram a lista de verificação de 27 itens às políticas de IA publicamente publicadas por todas as 13 universidades italianas que tinham formalmente adotado uma até setembro de 2025 (cerca de 13% das aproximadamente 100 universidades de Itália, incluindo Bolonha, o Politecnico di Milano e Florença), mais uma instituição sem política, como referência de base.

A fiabilidade entre codificadores foi elevada (kappa de Fleiss=0,626; alfa de Krippendorff=0,838). As pontuações de governação institucional variaram entre 0 e 60,32 em 100 (média de 33,66); as pontuações foram mais elevadas para os compromissos de 'bem-estar social' (média de 52,38) e mais baixas para a 'robustez técnica' (média de 19,64), mostrando que as universidades documentam compromissos aspiracionais mais do que salvaguardas operacionais.

O quadro oferece uma ferramenta de auto-auditoria replicável e de baixo custo, mas as baixas pontuações médias de governação indicam que a maioria das instituições estudadas ainda não está operacionalmente preparada para as disposições de alto risco do Regulamento de IA da UE que entram em vigor a partir de agosto de 2026.