Avaliação Automatizada de Escrita com Grammarly Melhora Notas de Escrita em Inglês como Língua Estrangeira num ECR com 190 Estudantes em Tangshan, China

Investigadores da Faculdade de Línguas Estrangeiras da Universidade Normal de Tangshan distribuíram aleatoriamente 190 estudantes chineses de nível intermédio de inglês como língua estrangeira (95 no grupo experimental, 95 no grupo de controlo) por um programa extracurricular de escrita de 12 semanas. O grupo experimental utilizou o Grammarly, uma ferramenta comercial de avaliação automatizada de escrita (AWE) baseada em IA, em complemento ao curso regular; o grupo de controlo recebeu apenas o ensino padrão.
A qualidade da escrita foi avaliada por avaliadores independentes (kappa de Cohen = 0,82) em quatro dimensões alinhadas com o IELTS, antes e depois da intervenção. O grupo Grammarly apresentou ganhos estatisticamente significativos face ao grupo de controlo em todas as dimensões: realização da tarefa (B=0,38, p=,044), coerência e coesão (B=0,46, p=,036), léxico (B=0,55, p=,009) e precisão gramatical (B=0,74, p=,003), com variância explicada (R²) entre 0,28 e 0,46. A autoeficácia na escrita também se revelou um preditor significativo dos ganhos, e os autores relatam as maiores melhorias entre os estudantes que começaram com níveis de proficiência mais baixos.
O ensaio limita-se a uma única instituição e a um curso de escrita extracurricular (sem créditos), e avalia uma ferramenta comercial de terceiros em vez de um sistema construído pela instituição — o estudo não descreve salvaguardas de proteção de dados para a plataforma de IA nem qualquer componente de formação de professores, uma vez que a intervenção foi inteiramente dirigida aos estudantes.