Avaliação 'two-lane' da Universidade de Sydney para a era da IA
Austrália
Em vez de uma corrida armamentista impossível de ganhar contra deteção de IA, Sydney redesenhou a avaliação em duas faixas …
Boa prática
Importada
★ 87
★ 73
★ 73
★ 73
Estudo de Cambridge conclui que a IA ainda não é fiável para avaliar ensaios universitários
Reino Unido · Cambridge · Ver o perfil de Reino Unido · Ver o perfil de Cambridge
Evidência: Quase-experimental Top 70% 40/100 · Pergunte a Evidence Copilot sobre esta prática
Investigadores da Universidade de Cambridge testaram Claude e ChatGPT na avaliação de 750 ensaios reais de três universidades britânicas. Os sistemas só coincidiram com as classificações dos examinadores humanos em 35–65% dos casos, valorizando excessivamente a extensão e o vocabulário em detrimento do conteúdo.
750+
Dimensão do corpus de ensaios
35-65 %
Taxa de correspondência de faixa de classificação IA-humano
3-8x longer
Extensão do feedback da IA face ao humano
Detalhes
- Promotor
- University of Cambridge
- Período
- 2026
- Palavras-chave
- higher education, psychology, assessment research
Contexto
Uma equipa liderada pela Universidade de Cambridge, composta por psicólogos e investigadores de IA, avaliou três LLMs de ponta, incluindo versões recentes do Claude e do ChatGPT (a partir de abril de 2026), na classificação de trabalhos reais de licenciatura em psicologia.
Atividades
A equipa reuniu um corpus de mais de 750 ensaios de psicologia de três universidades do Reino Unido e comparou as classificações atribuídas pela IA com as classificações originalmente atribuídas por examinadores humanos.
Resultados
Os sistemas de IA corresponderam à faixa de classificação dos examinadores humanos apenas 35-65% das vezes, consoante o modelo e o conjunto de ensaios; os três sistemas foram excessivamente sensíveis à extensão do texto e ao vocabulário, independentemente da força do argumento, e produziram feedback 3 a 8 vezes mais longo do que os avaliadores humanos.
Conclusões
A conclusão da equipa de Cambridge foi explicitamente cautelosa: a IA 'ainda não é suficientemente boa' para classificar ensaios universitários abertos sem supervisão humana significativa.
Implementação
- Custo indicativo
- Baixo (< 50 mil €)
- Tempo até resultados
- Curto (< 1 ano)
Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.
Fontes de dados
De onde foi obtida a informação desta prática, e quando.
- C-NAPSE web research — acedido em 2026-09-01
- University of Cambridge — acedido em 2026-09-01
- University of Cambridge — acedido em 2026-09-01
- EurekAlert — acedido em 2026-09-01
- Phys.org — acedido em 2026-09-01
Anexos
Práticas semelhantes que podem ser úteis
Universidade de Hong Kong — Reformular a Avaliação em vez de a Policiar na Era da IA Generativa
Hong Kong
Em junho de 2023, o Senado da HKU designou a IA generativa "quinta literacia" e deu a todos acesso gratuito …
Studiosity+ na University of Bedfordshire — Uma Avaliação Publicada de Feedback de Escrita Aumentado por IA
Reino Unido
A University of Bedfordshire realizou uma avaliação publicada comparando o seu serviço de escrita Studiosity, com tutores humanos, com uma …
Gradescope — Correção e feedback assistidos por IA no ensino superior
Estados Unidos da América
Plataforma de IA que agrupa respostas semelhantes para correção em lote; 3,2 M de alunos em 2 600+ universidades. ACM …