evidoria

← Retour à la liste

Bonne pratique Importée

Une étude de Cambridge conclut que l'IA n'est pas encore fiable pour noter les dissertations universitaires

Royaume-Uni · Cambridge · Voir le profil de Royaume-Uni · Voir le profil de Cambridge

Preuves: Quasi expérimental Top 70% 40/100 · Demandez à Evidence Copilot à propos de cette pratique

Des chercheurs de l'Université de Cambridge ont testé Claude et ChatGPT sur la notation de 750 dissertations réelles issues de trois universités britanniques. Les systèmes n'ont retrouvé la note attribuée par les correcteurs humains que dans 35 à 65 % des cas, survalorisant la longueur et le vocabulaire au détriment du fond.

750+
Taille du corpus de dissertations
35-65 %
Taux de correspondance de tranche de notation IA-humain
3-8x longer
Longueur du retour de l'IA par rapport à l'humain
Une étude de Cambridge conclut que l'IA n'est pas encore fiable pour noter les dissertations universitaires

Détails

Promoteur
University of Cambridge
Période
2026
Mots-clés
higher education, psychology, assessment research

Contexte

Une équipe menée par l'université de Cambridge, composée de psychologues et de chercheurs en IA, a évalué trois LLM de pointe, dont des versions récentes de Claude et ChatGPT (à partir d'avril 2026), sur leur capacité à noter de vrais travaux de licence en psychologie.

Activités

L'équipe a constitué un corpus de plus de 750 dissertations de psychologie provenant de trois universités britanniques et comparé les tranches de notes attribuées par l'IA à celles initialement attribuées par des examinateurs humains.

Résultats

Les systèmes d'IA n'ont correspondu à la tranche de notation des examinateurs humains que 35 à 65 % du temps selon le modèle et le lot de dissertations ; les trois systèmes étaient excessivement sensibles à la longueur du texte et au vocabulaire, indépendamment de la solidité de l'argumentation, et ont produit des retours 3 à 8 fois plus longs que ceux des évaluateurs humains.

Conclusions

La conclusion de l'équipe de Cambridge était explicitement prudente : l'IA « n'est pas encore assez bonne » pour noter des dissertations universitaires ouvertes sans supervision humaine significative.

Mise en œuvre
Coût indicatif
Faible (< 50 k€)
Délai jusqu’aux résultats
Court (< 1 an)

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles