evidoria

← Voltar à navegação

Boa prática Importada

Avaliação Automatizada de Escrita com Grammarly Melhora Notas de Escrita em Inglês como Língua Estrangeira num ECR com 190 Estudantes em Tangshan, China

China · Tangshan · Ver o perfil de China

Evidência: Ensaio controlado aleatorizado Top 40% 53/100 · Pergunte a Evidence Copilot sobre esta prática

Um ensaio controlado randomizado de 12 semanas com 190 estudantes universitários chineses de inglês como língua estrangeira mostrou que a avaliação automatizada de escrita com Grammarly melhorou significativamente a realização da tarefa, a coerência, o léxico e a gramática face ao ensino padrão, com os maiores ganhos para os escritores de nível mais baixo.

190 students (95 / 95)
Dimensao da amostra (experimental / controlo) (2023)
B=0.38, p=.044
Ganho na realizacao da tarefa
B=0.46, p=.036
Ganho na coerencia e coesao
B=0.55, p=.009
Ganho nos recursos lexicais
B=0.74, p=.003
Ganho na correcao gramatical
0.28-0.46
Intervalo de variancia explicada (R-quadrado)
Cohen's kappa = 0.82
Fiabilidade entre avaliadores

Detalhes

Promotor
Tangshan Normal University, School of Foreign Languages
Período
2023
Palavras-chave
higher education, English as a Foreign Language (EFL), automated writing evaluation, edtech

Contexto

Investigadores da Escola de Linguas Estrangeiras da Tangshan Normal University realizaram um ensaio controlado e aleatorizado de 12 semanas com 190 estudantes chineses de nivel intermedio de Ingles como Lingua Estrangeira (ILE), comparando uma ferramenta comercial de avaliacao automatica da escrita (AAE) baseada em IA com o ensino padrao.

Objetivos

Testar se a avaliacao automatica da escrita baseada no Grammarly melhora a qualidade da escrita em ILE - realizacao da tarefa, coerencia e coesao, recursos lexicais e correcao gramatical - em comparacao com o ensino padrao isolado.

Atividades

190 estudantes foram distribuidos aleatoriamente por um grupo experimental (95 estudantes, usando o Grammarly em complemento das aulas regulares) ou por um grupo de controlo (95 estudantes, apenas ensino padrao) durante um programa extracurricular de escrita de 12 semanas, sem creditos academicos. A qualidade da escrita foi avaliada por classificadores independentes (kappa de Cohen = 0,82) em quatro dimensoes alinhadas com o IELTS, antes e depois da intervencao.

Resultados

O grupo Grammarly apresentou ganhos estatisticamente significativos em relacao ao grupo de controlo em todas as dimensoes: realizacao da tarefa (B=0,38, p=,044), coerencia e coesao (B=0,46, p=,036), recursos lexicais (B=0,55, p=,009) e correcao gramatical (B=0,74, p=,003), com variancia explicada (R-quadrado) entre 0,28 e 0,46. Os autores relatam as maiores melhorias entre os alunos com nivel de proficiencia mais baixo no inicio, e a autoeficacia na escrita foi tambem um preditor significativo dos ganhos.

Conclusões

O ensaio fornece evidencias solidas de um ECA numa unica instituicao de que uma ferramenta comercial de AAE pode melhorar a qualidade da escrita em ILE, especialmente para escritores mais fracos, mas limita-se a uma instituicao e a um curso extracurricular sem creditos, avalia uma ferramenta comercial de terceiros em vez de um sistema desenvolvido pela propria instituicao, e nao reporta salvaguardas de protecao de dados nem qualquer componente de formacao de professores.

Implementação
Custo indicativo
Baixo (< 50 mil €) — Grammarly is a low-cost/freemium commercial subscription tool.
Tempo até resultados
Curto (< 1 ano) — 12-week extracurricular intervention (2023 study).
Equipa e competências
researchers and course facilitators at Tangshan Normal University, independent raters for writing assessment

Condições de sucesso

  • sustained 12-week engagement with the AWE tool alongside regular coursework
  • independent, reliable rating of writing samples (kappa=0.82) to measure gains

Modos de falha comuns

  • single institution and an extracurricular, not-for-credit context limit generalisability
  • no data-protection safeguards for the third-party commercial platform were reported
  • no teacher-training component since the intervention was entirely student-facing

Onde se enquadra

Tipo de governação
university research study
Escala
single university, one course

Habitualmente financiado por

Horizon Europe

Vias de financiamento indicativas para práticas deste tipo — verifique sempre os avisos abertos e as regras de elegibilidade de cada programa.

Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.

Fontes de dados

De onde foi obtida a informação desta prática, e quando.

Práticas semelhantes que podem ser úteis