Feedback de Escrita Crítica Assistido por IAG — Um Ensaio Controlado Aleatorizado Duplamente Cego na Universidade de Fudan

Investigadores do Gabinete de Informatização da Universidade de Fudan realizaram um ensaio controlado e aleatorizado, duplamente cego e com desenho antes/depois, com 259 estudantes de licenciatura elegíveis (125 no grupo experimental, 134 no grupo de controlo), selecionados por serem falantes nativos de mandarim, terem competência intermédia em inglês (CET-4 425-550) e não terem experiência prévia com ferramentas de escrita assistidas por IA.

O ensaio testou se o feedback gerado por IA poderia melhorar a qualidade da escrita crítica dos estudantes de licenciatura, em comparação com o feedback tradicional dado exclusivamente por docentes.

O grupo experimental recebeu feedback de um modelo Qwen-7B-Chat ajustado (fine-tuned) e personalizado para a avaliação de escrita académica, ao longo de uma intervenção de quatro semanas; o grupo de controlo recebeu o feedback tradicional dado exclusivamente por docentes.

Utilizando análise de diferenças-em-diferenças e modelação de equações estruturais, o estudo encontrou um efeito global significativo de tratamento-por-tempo no desempenho da escrita (β=0,149, p<0,001). Os efeitos foram mais fortes na organização do ensaio (β=0,311, p<0,001) e no desenvolvimento do conteúdo (β=0,191, p<0,001), com ganhos menores mas significativos no uso da língua (β=0,070, p<0,05) e na motivação para a escrita autorreportada (β=0,077, p<0,05). Uma análise da via de aceitação tecnológica associou ainda a facilidade de uso percebida à utilidade percebida (β=0,326, p<0,001) e a utilidade/atitude ao uso efetivo do sistema (β=0,431, p<0,001).

O ensaio foi realizado numa única instituição, ao longo de um único ciclo de quatro semanas, pelo que ainda não existem evidências sobre a durabilidade ou a transferência dos resultados para além desta coorte e desta disciplina; o próprio estudo não reporta qualquer implementação à escala da sala de aula para além do ensaio.