Macro Buddy — Um Tutor de IA Socrático Combinado com Grupos de Estudo Entre Pares Melhora as Notas em Macroeconomia na Licenciatura

Os estudantes universitários de macroeconomia trabalham frequentemente em conjuntos de problemas sozinhos ou em grupos de estudo, sem que o docente possa estar presente em todas as sessões; docentes de duas universidades dos EUA testaram se um tutor de IA construído especificamente para o efeito poderia substituir parte dessa orientação em falta.

Testar se um tutor de IA de estilo socrático, personalizado e restrito aos materiais do curso, poderia melhorar o desempenho nos exames, sozinho ou combinado com grupos de estudo entre pares, sem simplesmente dar as respostas.

Investigadores da Universidade de Wisconsin-La Crosse e da Appalachian State University construíram o 'Macro Buddy', uma ferramenta personalizada baseada no ChatGPT, treinada apenas com as transcrições das aulas, diapositivos e questões de trabalhos de casa do próprio curso, com o acesso geral à internet desativado, respondendo com perguntas de seguimento em estilo socrático em vez de respostas diretas. Num ensaio aleatorizado, 140 estudantes em quatro turmas foram atribuídos a uma de quatro condições: estudo individual, estudo em grupo, estudo individual com Macro Buddy, ou estudo em grupo com Macro Buddy.

As pontuações no segundo exame diminuíram em todos os quatro grupos. No terceiro exame, várias semanas depois, a condição combinada (discussão entre pares mais Macro Buddy) obteve a pontuação mais alta, os utilizadores individuais do Macro Buddy superaram os estudantes que trabalhavam sozinhos sem IA, e a condição apenas de grupo (sem IA) apresentou os menores ganhos.

Os autores referem que o estudo abrangeu apenas um curso numa única instituição, o que limita a generalização dos resultados, mas conceberam deliberadamente a ferramenta, de baixo custo e sem necessidade de programação, para ser replicável por outros docentes.