O Feedback do GPT-3.5 Aumenta a Revisão de Texto e a Motivação — Um Ensaio Aleatorizado com Alunos do Secundário na Alemanha

Investigadores do IPN – Leibniz Institute for Science and Mathematics Education, em Kiel, Alemanha, realizaram um ensaio controlado aleatorizado para testar se o feedback gerado por um grande modelo de linguagem ajuda alunos do ensino secundário a rever a sua escrita.
459 alunos do 10.º ano em escolas de via académica, a estudar inglês como língua estrangeira, escreveram textos argumentativos. Na condição experimental, os alunos reviram os seus textos usando feedback gerado pelo GPT-3.5-turbo e ajustado a princípios de feedback baseados em evidência, enquanto o grupo de controlo reviu sem este feedback de IA. A qualidade da revisão foi avaliada por classificação automática de ensaios, juntamente com medidas de motivação e emoção autorreportadas.
Publicado na revista Computers and Education: Artificial Intelligence (dezembro de 2023), o ensaio verificou que o grupo com feedback de IA obteve um melhor desempenho na revisão de texto (d de Cohen = 0,19), maior motivação para a tarefa (d = 0,36) e mais emoções positivas (d = 0,34) do que o grupo de controlo sem feedback. Estes são efeitos pequenos a moderados de um ECA numa única escola e numa única disciplina — evidência real mas limitada, que deve ser lida como uma prova de conceito inicial e não como um sistema já a funcionar em larga escala.