Évaluations par les pairs notées par IA sur Coursera pour les cours de certificat professionnel

Coursera a teste une fonctionnalite de correction par IA pour les devoirs d'evaluation par les pairs, ouverts et en texte libre, utilises dans nombre de ses cours de certificat professionnel co-marques avec des partenaires comme Google, IBM et Meta, ou les formateurs fournissent une grille de notation et le modele d'IA note les soumissions des apprenants en fonction de celle-ci, en complement ou en remplacement de la notation par les pairs et par les assistants d'enseignement ; la fonctionnalite est limitee aux soumissions textuelles et exclue des programmes diplomants credites de Coursera.

Dans son propre rapport beta publie en septembre 2024, Coursera indique que le systeme a note environ 300 000 soumissions, avec pour objectif de reduire le temps de correction et de fournir un retour plus rapide et plus detaille aux apprenants.

Des rapports independants de Class Central ont souleve des preoccupations precises quant a la precision de la premiere version beta, constatant que le correcteur IA semblait parfois noter en fonction du ton ou du 'sentiment' d'une soumission plutot que de sa conformite stricte a la grille, produisait des notes incoherentes lors de corrections repetees du meme texte, et necessitait une correction par des evaluateurs humains, en particulier ceux ayant eux-memes suivi le cours ; le service de formation continue de l'universite Duke a mene son propre pilote optionnel invitant les apprenants a comparer directement la notation par IA et par des humains.

Les donnees de Coursera montrent que le temps de correction moyen est passe d'environ 15 heures pour les correcteurs humains a environ 1 minute, le systeme a fourni environ 45 fois plus de retours ecrits par reponse (en moyenne 326 caracteres), 90 % des apprenants ont evalue positivement le retour de l'IA, et les taux d'achevement des cours dans la journee suivant une evaluation par les pairs ont augmente de 16,7 % apres l'introduction de la fonctionnalite ; cependant, les taux de reussite au premier essai sont passes de 88 % a 72 %, les notes attribuees par l'IA etaient en moyenne environ 3 % inferieures aux notes precedentes des pairs, et seuls 7 % des apprenants ont choisi de revenir a une correction humaine.

Meme des etablissements adoptants comme Duke ont considere la question de la precision comme encore ouverte plutot que tranchee, reflétant un bilan veritablement mitige : un retour plus rapide et plus abondant, mais aussi une baisse mesurable des taux de reussite au premier essai et des problemes de coherence documentes dans la premiere version beta.