Write & Improve na SDU University — Um Ensaio em Sala de Aula no Cazaquistão Comparando Feedback de IA e de Professores

A SDU University, uma universidade privada em Almaty, no Cazaquistão, realizou um estudo quase-experimental comparando o feedback de escrita gerado por IA com o feedback tradicional de professores, para estudantes do primeiro ano no seu programa de formação de professores de duas línguas estrangeiras (TFL). A ferramenta de IA utilizada foi o Write & Improve, uma plataforma gratuita desenvolvida pela Cambridge University Press & Assessment com base num corpus de aprendizagem anotado com erros de 30 milhões de palavras, que pontua a escrita segundo o QECR e dá feedback sobre conteúdo, coerência, recursos lexicais e gramática/precisão. Quatro professores lecionaram cada um uma turma de controlo com feedback tradicional e uma turma experimental apenas com feedback do Write & Improve, abrangendo oito turmas e 134 estudantes (117 do sexo feminino, 17 do sexo masculino).

O estudo procurou testar se o feedback gerado por IA do Write & Improve conseguia equiparar-se ao feedback dos professores no apoio ao desenvolvimento da escrita de professores em formação em tarefas do tipo IELTS. Procurou também determinar, através de uma comparação controlada em sala de aula, se a ferramenta de IA poderia servir como um complemento escalável e viável ao feedback humano em turmas grandes ou com poucos recursos.

Ao longo de cinco semanas, de finais de outubro a finais de novembro de 2024, os 134 estudantes realizaram semanalmente tarefas de escrita do tipo IELTS com pré- e pós-testes, recebendo feedback de IA do Write & Improve ou feedback do respetivo professor. Os investigadores utilizaram testes de Mann-Whitney U para confirmar a equivalência dos grupos no início e, em seguida, uma MANCOVA de um fator para comparar as pontuações do pós-teste em realização da tarefa, coerência e coesão, recursos lexicais e gramática e precisão entre as turmas emparelhadas dos quatro professores.

Em todas as turmas dos quatro professores e na amostra combinada de 134 estudantes, a MANCOVA não encontrou diferença global estatisticamente significativa entre o feedback de IA e o feedback do professor em nenhuma das quatro dimensões de escrita avaliadas. A turma de um dos professores apresentou um efeito multivariado significativo, aparentemente motivado pela realização da tarefa, mas os testes de seguimento não encontraram diferença específica por dimensão. O acompanhamento longitudinal ao longo de mais três trabalhos mostrou tendências de pontuação flutuantes e inconsistentes em ambos os grupos.

Os autores concluíram que o Write & Improve teve um desempenho tão bom quanto, mas não melhor do que, o feedback de professores formados, apoiando a sua utilização como complemento escalável em turmas grandes ou com poucos recursos, e não como uma melhoria comprovada em relação ao ensino humano. Assinalaram como limitação a amostra pequena e de uma única instituição, o facto de alguns professores considerarem a ferramenta pouco personalizável e mostrarem relutância em confiar nela, e o facto de o estudo ter identificado um risco por resolver relativo à falta de atenção dos estudantes às normas éticas ao utilizar ferramentas de escrita com IA.