evidoria

← Retour à la liste

Bonne pratique Importée

Rétroaction formative propulsée par GPT-4 pour de grandes classes de comptabilité

Afrique du Sud · Pretoria · Voir le profil de Afrique du Sud · Voir le profil de Pretoria

Preuves: Descriptif / auto-déclaré Top 73% 40/100 · Demandez à Evidence Copilot à propos de cette pratique

Des enseignants de comptabilité de l'université de Pretoria ont conçu un outil web basé sur GPT-4 qui donne aux étudiants une rétroaction sur des questions de discussion ou de dissertation, élaborée selon les principes de rétroaction efficace de Nicol et Macfarlane-Dick. Une étude portant sur 75 copies réparties sur cinq évaluations, sur deux ans, a examiné dans quelle mesure la rétroaction de l'IA respectait ces principes.

75 scripts
Copies évaluées
15 scripts
Copies par évaluation
5 assessments
Évaluations couvertes (two academic years)

Détails

Maturité
Pilote
Promoteur
University of Pretoria, Department of Accounting
Période
2022–2024
Mots-clés
Generative AI, formative feedback, higher education, accounting

Contexte

Fournir un retour écrit individualisé sur des questions de discussion et de rédaction est l'un des exercices les plus difficiles à bien réaliser dans un grand cours universitaire fondé sur les compétences, où un enseignant peut devoir traiter des centaines de copies par évaluation. Des universitaires en comptabilité de l'Université de Pretoria ont conçu une application web sans code (sur la plateforme Bubble.io) qui achemine les réponses soumises par les étudiants vers GPT-4 et renvoie un retour conçu pour suivre les sept principes largement cités de bonnes pratiques de feedback de Nicol et Macfarlane-Dick.

Objectifs

Les chercheurs ont cherché à évaluer dans quelle mesure le retour généré par l'IA respectait de façon cohérente les sept principes de bonnes pratiques de feedback — par exemple clarifier ce à quoi ressemble une bonne réponse et aider les étudiants à s'autocorriger plutôt que de simplement fournir la bonne réponse — plutôt que de mesurer une amélioration ultérieure des notes.

Activités

L'équipe a constitué un échantillon raisonné de 75 copies (15 par évaluation) couvrant cinq évaluations distinctes de comptabilité sur deux années universitaires, choisies pour couvrir un éventail de niveaux de performance et de sujets, et a publié l'analyse dans la revue Assessment & Evaluation in Higher Education.

Résultats

Comme l'évaluation repose sur un petit échantillon raisonné issu d'un seul cours, et non sur un essai randomisé ou un déploiement multi-cours, les résultats doivent être considérés comme une preuve de concept pour l'ingénierie de prompts de feedback par IA selon une norme pédagogique, et non comme une preuve établie d'impact sur les résultats d'apprentissage.

Mise en œuvre
Coût indicatif
Faible (< 50 k€)
Délai jusqu’aux résultats
Court (< 1 an)
Personnel et compétences
University of Pretoria Department of Accounting academic staff (tool design and prompt engineering)

Conditions de réussite

  • A no-code platform (Bubble.io) to keep development accessible to academic staff without dedicated engineering support
  • Explicit prompt engineering grounded in an established pedagogical feedback framework (Nicol and Macfarlane-Dick's seven principles)

Modes d’échec courants

  • Evaluated on a single purposive sample within one course at one university; no evidence yet of use beyond this pilot

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pratiques similaires qui pourraient vous être utiles