evidoria

← Volver al listado

Buena práctica Importada

XAI-ED Consequential Assessment Framework — Auditoría de la documentación de gobernanza de IA en 13 universidades italianas bajo la Ley de IA de la UE

Italia · Genoa · Ver el perfil de Italia

Evidencia: Observacional / pre-post Top 73% 40/100 · Pregunte a Evidence Copilot sobre esta práctica

Una lista de verificación de 27 ítems, revisada por pares y aplicada por cuatro codificadores independientes a las políticas de IA de 13 universidades italianas (el 13% que había adoptado una para septiembre de 2025), halló que las instituciones documentan compromisos éticos aspiracionales mucho más que salvaguardas operativas — las puntuaciones de gobernanza oscilaron entre 0 y 60 sobre 100.

13 universities
Universidades auditadas con política de gobernanza de IA publicada (September 2025)
13 %
Porcentaje de las cerca de 100 universidades de Italia con política de IA publicada (sept. 2025) (September 2025)
33,66 out of 100
Puntuación media de gobernanza institucional (June-Sept 2025 data, published Dec 2025)
0-60.32 out of 100
Rango de puntuaciones de gobernanza institucional (June-Sept 2025 data, published Dec 2025)
0,626
Fiabilidad entre codificadores (kappa de Fleiss)
0,838
Fiabilidad entre codificadores (alfa de Krippendorff)
52,38 out of 100
Puntuación media - dimensión de bienestar social
19,64 out of 100
Puntuación media - dimensión de robustez técnica
XAI-ED Consequential Assessment Framework — Auditoría de la documentación de gobernanza de IA en 13 universidades italianas bajo la Ley de IA de la UE

Detalles

Promotor
National Research Council of Italy (CNR) – Institute for Educational Technology; University of Bologna; University of Bari 'Aldo Moro'
Período
June–September 2025 data collection; published December 2025
Palabras clave
Higher education, AI governance, regulatory compliance

Contexto

El Reglamento de IA de la UE clasifica los sistemas de IA utilizados para evaluar resultados de aprendizaje como de alto riesgo conforme al Anexo III, pero no especifica cómo deben evaluar las instituciones su propio cumplimiento. Investigadores del Consejo Nacional de Investigación de Italia (CNR), junto con la Universidad de Bolonia y la Universidad de Bari 'Aldo Moro', crearon el XAI-ED Consequential Assessment Framework (CAF), una lista de verificación de 27 ítems y cuatro niveles que operacionaliza los requisitos de IA fiable ALTAI de la UE, fundamentada en teoría consolidada de evaluación educativa (el marco de validez de Messick, el modelo de cuatro niveles de Kirkpatrick y el modelo CIPP de Stufflebeam).

Objetivos

Ofrecer a universidades y reguladores una forma replicable y de bajo coste de auto-auditar la documentación de gobernanza de la IA de evaluación, antes de que entren en vigor las disposiciones de alto riesgo del Reglamento de IA de la UE a partir de agosto de 2026.

Actividades

Cuatro codificadores independientes aplicaron la lista de verificación de 27 ítems a las políticas de IA publicadas por las 13 universidades italianas que habían adoptado formalmente una hasta septiembre de 2025 (alrededor del 13% de las aproximadamente 100 universidades de Italia, incluyendo Bolonia, el Politecnico di Milano y Florencia), más una institución sin política como referencia de base.

Resultados

La fiabilidad entre codificadores fue alta (kappa de Fleiss=0,626; alfa de Krippendorff=0,838). Las puntuaciones de gobernanza institucional oscilaron entre 0 y 60,32 sobre 100 (media de 33,66); las puntuaciones fueron más altas para los compromisos de 'bienestar social' (media de 52,38) y más bajas para la 'robustez técnica' (media de 19,64), mostrando que las universidades documentan compromisos aspiracionales más que salvaguardas operativas.

Conclusiones

El marco ofrece una herramienta de auto-auditoría replicable y de bajo coste, pero las bajas puntuaciones medias de gobernanza indican que la mayoría de las instituciones estudiadas aún no están operativamente preparadas para las disposiciones de alto riesgo del Reglamento de IA de la UE que entran en vigor a partir de agosto de 2026.

Implementación
Coste indicativo
Bajo (< 50 000 €)
Tiempo hasta resultados
Corto (< 1 año)
Personal y competencias
Four independent coders trained to apply the 27-item checklist to institutional policy documents, Research team from CNR Institute for Educational Technology, University of Bologna and University of Bari 'Aldo Moro'

Condiciones para el éxito

  • Universities must have a publicly published AI-governance policy document to audit
  • A structured, validated checklist grounded in established educational-evaluation theory (Messick, Kirkpatrick, Stufflebeam) and the EU's ALTAI framework
  • Multiple independent coders to allow intercoder-reliability testing

Habitualmente financiado por

National / regional programmes

Vías de financiación indicativas para prácticas de este tipo: compruebe siempre las convocatorias vigentes y las reglas de elegibilidad de cada programa.

¿Usted implementa esta práctica? Reivindíquela — los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.

Fuentes de datos

De dónde se obtuvo la información de esta práctica, y cuándo.

Adjuntos

Prácticas similares que pueden serle útiles