evidoria

← Retour à la liste

Bonne pratique Importée

XAI-ED Consequential Assessment Framework — Audit de la documentation de gouvernance de l'IA dans 13 universités italiennes au titre de l'AI Act de l'UE

Italie · Genoa · Voir le profil de Italie

Preuves: Observationnel / avant-après Top 73% 40/100 · Demandez à Evidence Copilot à propos de cette pratique

Une liste de contrôle de 27 items, évaluée par des pairs et appliquée par quatre codeurs indépendants aux politiques d'IA de 13 universités italiennes (les 13 % en ayant adopté une d'ici septembre 2025), montre que les établissements documentent des engagements éthiques aspirationnels bien plus que des garanties opérationnelles — les scores de gouvernance allant de 0 à 60 sur 100.

13 universities
Universités auditées disposant d'une politique de gouvernance de l'IA publiée (September 2025)
13 %
Part des quelque 100 universités italiennes disposant d'une politique d'IA publiée (sept. 2025) (September 2025)
33,66 out of 100
Score moyen de gouvernance institutionnelle (June-Sept 2025 data, published Dec 2025)
0-60.32 out of 100
Fourchette des scores de gouvernance institutionnelle (June-Sept 2025 data, published Dec 2025)
0,626
Fiabilité inter-codeurs (kappa de Fleiss)
0,838
Fiabilité inter-codeurs (alpha de Krippendorff)
52,38 out of 100
Score moyen - dimension bien-être sociétal
19,64 out of 100
Score moyen - dimension robustesse technique
XAI-ED Consequential Assessment Framework — Audit de la documentation de gouvernance de l'IA dans 13 universités italiennes au titre de l'AI Act de l'UE

Détails

Promoteur
National Research Council of Italy (CNR) – Institute for Educational Technology; University of Bologna; University of Bari 'Aldo Moro'
Période
June–September 2025 data collection; published December 2025
Mots-clés
Higher education, AI governance, regulatory compliance

Contexte

Le règlement européen sur l'IA classe les systèmes d'IA utilisés pour évaluer les acquis d'apprentissage comme à haut risque au titre de l'annexe III, mais ne précise pas comment les établissements doivent évaluer leur propre conformité. Des chercheurs du Conseil national de la recherche d'Italie (CNR), avec l'Université de Bologne et l'Université de Bari 'Aldo Moro', ont conçu le XAI-ED Consequential Assessment Framework (CAF), une liste de contrôle de 27 items à quatre niveaux qui opérationnalise les exigences ALTAI de l'UE sur l'IA digne de confiance, fondée sur des théories établies d'évaluation éducative (le cadre de validité de Messick, le modèle à quatre niveaux de Kirkpatrick et le modèle CIPP de Stufflebeam).

Objectifs

Donner aux universités et aux régulateurs un moyen reproductible et peu coûteux d'auto-évaluer la documentation de gouvernance de l'IA d'évaluation, avant l'entrée en vigueur des dispositions à haut risque du règlement européen sur l'IA à partir d'août 2026.

Activités

Quatre codeurs indépendants ont appliqué la liste de contrôle de 27 items aux politiques d'IA publiées par les 13 universités italiennes ayant formellement adopté une politique avant septembre 2025 (environ 13 % des quelque 100 universités italiennes, dont Bologne, le Politecnico di Milano et Florence), plus un établissement sans politique servant de référence.

Résultats

La fiabilité inter-codeurs était élevée (kappa de Fleiss=0,626 ; alpha de Krippendorff=0,838). Les scores de gouvernance institutionnelle allaient de 0 à 60,32 sur 100 (moyenne de 33,66) ; les scores étaient les plus élevés pour les engagements de 'bien-être sociétal' (moyenne de 52,38) et les plus faibles pour la 'robustesse technique' (moyenne de 19,64), montrant que les universités documentent davantage les engagements aspirationnels que les garanties opérationnelles.

Conclusions

Le cadre offre un outil d'auto-audit reproductible et peu coûteux, mais les faibles scores moyens de gouvernance indiquent que la plupart des établissements étudiés ne sont pas encore opérationnellement prêts pour les dispositions à haut risque du règlement européen sur l'IA entrant en vigueur à partir d'août 2026.

Mise en œuvre
Coût indicatif
Faible (< 50 k€)
Délai jusqu’aux résultats
Court (< 1 an)
Personnel et compétences
Four independent coders trained to apply the 27-item checklist to institutional policy documents, Research team from CNR Institute for Educational Technology, University of Bologna and University of Bari 'Aldo Moro'

Conditions de réussite

  • Universities must have a publicly published AI-governance policy document to audit
  • A structured, validated checklist grounded in established educational-evaluation theory (Messick, Kirkpatrick, Stufflebeam) and the EU's ALTAI framework
  • Multiple independent coders to allow intercoder-reliability testing

Habituellement financé par

National / regional programmes

Pistes de financement indicatives pour des pratiques de ce type — vérifiez toujours les appels en cours et les règles d'éligibilité de chaque programme.

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles