evidoria

← Voltar à navegação

Boa prática Importada

Feedback Formativo com GPT-4 para Turmas Numerosas de Contabilidade

África do Sul · Pretoria · Ver o perfil de África do Sul · Ver o perfil de Pretoria

Evidência: Descritivo / autorreportado Top 73% 40/100 · Pergunte a Evidence Copilot sobre esta prática

Docentes de Contabilidade da Universidade de Pretória criaram uma ferramenta web com GPT-4 que dá feedback a estudantes sobre perguntas de discussão/ensaio, concebida segundo os princípios de feedback eficaz de Nicol e Macfarlane-Dick. Um estudo com 75 respostas em cinco avaliações ao longo de dois anos analisou até que ponto o feedback da IA correspondia a esses princípios.

75 scripts
Exames avaliados
15 scripts
Exames por avaliação
5 assessments
Avaliações abrangidas (two academic years)

Detalhes

Maturidade
Piloto
Promotor
University of Pretoria, Department of Accounting
Período
2022–2024
Palavras-chave
Generative AI, formative feedback, higher education, accounting

Contexto

Dar feedback escrito individualizado em perguntas de discussão e de resposta longa é uma das tarefas mais difíceis de realizar bem numa disciplina universitária de grande dimensão e baseada em competências, em que um docente pode ter de avaliar centenas de exames por avaliação. Académicos de contabilidade da Universidade de Pretória construíram uma aplicação web sem código (na plataforma Bubble.io) que envia as respostas submetidas pelos alunos ao GPT-4 e devolve feedback concebido para seguir os sete princípios amplamente citados de boas práticas de feedback de Nicol e Macfarlane-Dick.

Objetivos

Os investigadores propuseram-se avaliar em que medida o feedback gerado por IA incorporava de forma consistente os sete princípios de boas práticas de feedback, como esclarecer o que constitui uma boa resposta e ajudar os alunos a autocorrigirem-se em vez de simplesmente fornecer a resposta certa, em vez de medir melhorias subsequentes nas classificações.

Atividades

A equipa recolheu uma amostra intencional de 75 exames (15 por avaliação) abrangendo cinco avaliações distintas de contabilidade ao longo de dois anos letivos, escolhidos para cobrir uma variedade de níveis de desempenho dos alunos e de tópicos, e publicou a análise na revista Assessment & Evaluation in Higher Education.

Resultados

Como a avaliação é uma pequena amostra intencional de uma única disciplina, e não um ensaio aleatorizado ou uma implementação em várias disciplinas, os resultados devem ser lidos como uma prova de conceito para a engenharia de prompts de feedback de IA segundo um padrão pedagógico, e não como evidência consolidada de impacto nos resultados de aprendizagem.

Implementação
Custo indicativo
Baixo (< 50 mil €)
Tempo até resultados
Curto (< 1 ano)
Equipa e competências
University of Pretoria Department of Accounting academic staff (tool design and prompt engineering)

Condições de sucesso

  • A no-code platform (Bubble.io) to keep development accessible to academic staff without dedicated engineering support
  • Explicit prompt engineering grounded in an established pedagogical feedback framework (Nicol and Macfarlane-Dick's seven principles)

Modos de falha comuns

  • Evaluated on a single purposive sample within one course at one university; no evidence yet of use beyond this pilot

Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.

Fontes de dados

De onde foi obtida a informação desta prática, e quando.

Práticas semelhantes que podem ser úteis