Macro Buddy — Un tuteur IA socratique combiné à des groupes d'étude entre pairs améliore les résultats aux examens de macroéconomie en licence

Les étudiants de premier cycle en macroéconomie travaillent souvent des séries d'exercices seuls ou en groupes d'étude, sans que l'enseignant puisse être présent à chaque séance ; des enseignants de deux universités américaines ont testé si un tuteur IA conçu sur mesure pouvait remplacer une partie de cet encadrement manquant.

Tester si un tuteur IA de style socratique, sur mesure et limité aux supports du cours, pouvait améliorer les résultats aux examens, seul ou combiné à des groupes d'étude entre pairs, sans simplement donner les réponses.

Des chercheurs de l'Université du Wisconsin-La Crosse et de l'Appalachian State University ont créé 'Macro Buddy', un outil personnalisé basé sur ChatGPT, entraîné uniquement sur les transcriptions de cours, les diaporamas et les questions de devoirs du cours lui-même, avec l'accès général à Internet désactivé, répondant par des questions de relance de style socratique plutôt que par des réponses directes. Dans un essai randomisé, 140 étudiants répartis dans quatre sections de cours ont été assignés à l'une des quatre conditions suivantes : étude individuelle, étude en groupe, étude individuelle avec Macro Buddy, ou étude en groupe avec Macro Buddy.

Les scores au deuxième examen ont baissé dans les quatre groupes. Au troisième examen, plusieurs semaines plus tard, la condition combinée (discussion entre pairs plus Macro Buddy) a obtenu le meilleur score, les utilisateurs individuels de Macro Buddy ont surpassé les étudiants travaillant seuls sans IA, et la condition groupe seul (sans IA) a montré les gains les plus faibles.

Les auteurs notent que l'étude n'a porté que sur un seul cours dans un seul établissement, ce qui limite la généralisation des résultats, mais ont délibérément conçu l'outil, peu coûteux et sans code, pour être reproductible par d'autres enseignants.