Évaluations par les pairs notées par IA sur Coursera pour les cours de certificat professionnel

Coursera a testé une fonctionnalité de notation par IA pour les travaux d'évaluation par les pairs, à réponse libre et basés sur du texte, utilisés dans nombre de ses cours de certificat professionnel (co-marqués avec des partenaires tels que Google, IBM et Meta). Les formateurs fournissent une grille d'évaluation, et le modèle d'IA note les soumissions des apprenants selon cette grille, en complément ou en remplacement de la notation par les pairs et par les assistants d'enseignement ; la fonctionnalité est limitée aux soumissions textuelles et exclue des programmes diplômants à crédits de Coursera.
Dans son propre rapport de phase bêta (publié en septembre 2024), Coursera indique que le système a noté environ 300 000 soumissions, a réduit le temps moyen de correction d'environ 15 heures (correcteurs humains) à environ 1 minute, a fourni environ 45 fois plus de texte de retour par réponse (326 caractères en moyenne), et que 90 % des apprenants ont évalué positivement le retour de l'IA. Les taux d'achèvement de cours dans la journée suivant une évaluation par les pairs ont augmenté de 16,7 % après l'introduction de la fonctionnalité. Cependant, les propres données de Coursera montrent aussi que le taux de réussite au premier essai est passé de 88 % à 72 %, les notes attribuées par l'IA étant en moyenne inférieures d'environ 3 % à celles précédemment attribuées par les pairs ; seuls 7 % des apprenants ont choisi de revenir à une correction humaine.
Des reportages indépendants de Class Central ont soulevé des préoccupations précises sur la précision de la première version bêta : ils ont constaté que le correcteur IA semblait parfois noter en fonction du ton ou « sentiment » d'une soumission plutôt que de suivre strictement la grille, produisait des notes incohérentes en corrigeant plusieurs fois le même texte, et nécessitait des corrections de la part d'évaluateurs humains — notamment ceux ayant eux-mêmes suivi le cours. Le service de formation continue de l'université Duke a mené son propre projet pilote facultatif, invitant les apprenants à comparer directement la notation par IA et par des humains, ce qui indique que même les établissements adoptant la fonctionnalité considéraient la question de la précision comme encore ouverte.