evidoria

← Voltar à navegação

Boa prática Importada

O Feedback do GPT-3.5 Aumenta a Revisão de Texto e a Motivação — Um Ensaio Aleatorizado com Alunos do Secundário na Alemanha

Alemanha · Kiel · Ver o perfil de Alemanha

Evidência: Ensaio controlado aleatorizado Top 89% 27/100 · Pergunte a Evidence Copilot sobre esta prática

Um ensaio aleatorizado com 459 alunos do 10.º ano na Alemanha revelou que o feedback de escrita gerado pelo GPT-3.5-turbo melhorou moderadamente a revisão de textos (d=0,19), a motivação (d=0,36) e a emoção positiva (d=0,34) face à ausência de feedback de IA — efeitos reais mas pequenos, numa única escola.

459 students
Dimensao da amostra de alunos (2023)
0.19
Efeito no desempenho de revisao textual (d de Cohen)
0.36
Efeito na motivacao para a tarefa (d de Cohen)
0.34
Efeito na emocao positiva (d de Cohen)

Detalhes

Promotor
IPN – Leibniz Institute for Science and Mathematics Education, Kiel
Período
2023
Região (NUTS)
DEF0
Palavras-chave
assessment & feedback, natural language processing, secondary education, EFL writing instruction

Contexto

Investigadores do IPN - Instituto Leibniz para o Ensino das Ciencias e da Matematica, em Kiel, Alemanha, realizaram um ensaio controlado e aleatorizado para testar se o feedback gerado por modelos de linguagem de grande escala ajuda os alunos do ensino secundario a rever a sua escrita.

Objetivos

O ensaio testou se o feedback do GPT-3.5-turbo, ajustado a principios de feedback baseados em evidencia, melhora a qualidade da revisao de ensaios, a motivacao e a emocao em comparacao com a ausencia de feedback de IA.

Atividades

459 alunos do 10º ano em escolas de via academica, a estudar Ingles como lingua estrangeira, escreveram ensaios argumentativos; o grupo experimental reviu os seus textos usando feedback do GPT-3.5-turbo, enquanto o grupo de controlo reviu sem esse feedback. A qualidade da revisao foi pontuada atraves de avaliacao automatica de ensaios, juntamente com medidas de motivacao e emocao autorreportadas.

Resultados

O grupo com feedback de IA alcancou um desempenho de revisao textual mais elevado (d de Cohen = 0,19), maior motivacao para a tarefa (d = 0,36) e emocoes positivas mais elevadas (d = 0,34) do que o grupo de controlo sem feedback.

Conclusões

Estes sao efeitos de dimensao modesta a pequena de um ECA numa unica escola e numa unica disciplina -- evidencia real mas limitada, que deve ser lida como uma prova de conceito inicial e nao como um sistema ja a funcionar em escala.

Implementação
Custo indicativo
Baixo (< 50 mil €)
Tempo até resultados
Curto (< 1 ano)
Equipa e competências
IPN - Leibniz Institute for Science and Mathematics Education research team (Kiel)

Condições de sucesso

  • AI feedback tuned to evidence-based feedback principles rather than generic LLM output
  • Single subject/grade focus enabling a controlled comparison

Habitualmente financiado por

National / regional programmes

Vias de financiamento indicativas para práticas deste tipo — verifique sempre os avisos abertos e as regras de elegibilidade de cada programa.

Kit de replicação

Artefactos reutilizáveis desta prática — tal como publicados pelas suas fontes.

Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.

Fontes de dados

De onde foi obtida a informação desta prática, e quando.

Práticas semelhantes que podem ser úteis