evidoria

← Voltar à navegação

Boa prática Importada

GenAI 24x7 Tutor — Avaliação Simulada por Humanos da Universidade de Wollongong sobre o ChatGPT, Wolfram GPT e Tutor Me GPT para Engenharia e Matemática

Austrália · Wollongong · Ver o perfil de Austrália

Evidência: Descritivo / autorreportado Top 95% 20/100 · Pergunte a Evidence Copilot sobre esta prática

Investigadores da Universidade de Wollongong simularam estudantes médios e com dificuldades em 35 tópicos de engenharia/matemática para testar o ChatGPT-4, ChatGPT-4o, Wolfram GPT e Tutor Me GPT como tutores, encontrando erros frequentes e precisão quase nula nalguns tópicos.

~280 35 topics x 4 tools x 2 student profiles
Sessoes de tutoria avaliadas
3 of 8
Tentativas corretas na pergunta sobre perda de pressao em tubagens de agua
2.97 out of 4
Media minima do modelo na experiencia de tutoria
GenAI 24x7 Tutor — Avaliação Simulada por Humanos da Universidade de Wollongong sobre o ChatGPT, Wolfram GPT e Tutor Me GPT para Engenharia e Matemática

Detalhes

Promotor
University of Wollongong, Australasian Artificial Intelligence in Engineering Education Centre (AAIEEC)
Período
Second half of 2024 (data collection); published 21 January 2026
Palavras-chave
engineering education, mathematics education, GenAI tutoring, accuracy benchmarking, higher education

Contexto

Investigadores da Faculdade de Engenharia e Ciencias da Informacao da Universidade de Wollongong, atraves do Centro Australasiano de Inteligencia Artificial em Educacao de Engenharia (AAIEEC), testaram se o ChatGPT-4, o ChatGPT-4o, o Wolfram GPT e o Tutor Me GPT (Khanmigo Lite) poderiam funcionar como tutores 24 horas por dia precisos e pedagogicamente solidos para engenharia e matematica.

Objetivos

Como a comissao de etica em investigacao humana da universidade nao aprovaria ensaios com alunos reais sem evidencia previa sobre o risco, a equipa usou tres assistentes de investigacao experientes para simular um aluno medio e um aluno com dificuldades persistentes em 7 disciplinas e 35 topicos de engenharia eletrica, engenharia mecanica e matematica.

Atividades

Cada uma das cerca de 280 sessoes (35 topicos x 4 ferramentas x 2 perfis de aluno) durou pelo menos 20 minutos e foi pontuada de 0 a 4 quanto a precisao e a seis dimensoes de experiencia pedagogica, usando uma grelha adaptada do quadro de tutoria humano-versus-computador de Merrill et al.

Resultados

A precisao foi forte em engenharia eletrica e matematica (geralmente 3-4) mas fraca em engenharia mecanica, onde as pontuacoes medias cairam abaixo de 3 e, num topico de termodinamica, desceram para 0-1,5; uma pergunta sobre perda de pressao em tubagens de agua so foi respondida corretamente em 3 de 8 tentativas. Um teste de Friedman nao encontrou diferenca estatisticamente significativa na precisao entre as quatro ferramentas. As pontuacoes de experiencia de tutoria foram mais consistentemente positivas (media minima do modelo 2,97/4), com o ChatGPT-4 classificado como o melhor tutor global.

Conclusões

Os autores sao explicitos ao afirmar que se tratou de uma simulacao, e nao de um ensaio com alunos reais, e que este 'nao oferece evidencia direta da eficacia real do GenAI no apoio a aprendizagem'. Recomendam contra uma implementacao mais ampla em sala de aula ate que a precisao melhore e seja realizado um ensaio supervisionado com alunos.

Implementação
Custo indicativo
Baixo (< 50 mil €) — Research study using existing commercial AI tools; no infrastructure build cost.
Tempo até resultados
Curto (< 1 ano) — Data collection second half of 2024; published 21 January 2026.
Equipa e competências
University of Wollongong, Faculty of Engineering and Information Sciences, Australasian Artificial Intelligence in Engineering Education Centre (AAIEEC), three research assistants (two PhD candidates, one doctorate holder)

Condições de sucesso

  • standardised rubric (adapted from Merrill et al.) scoring both accuracy and pedagogical-experience dimensions
  • role-play simulation used specifically because ethics approval for a real-student trial required prior risk evidence

Modos de falha comuns

  • accuracy dropped to near zero on some mechanical-engineering/thermodynamics topics
  • study authors explicitly recommend against classroom use until accuracy improves and a real-student trial is run

Onde se enquadra

Tipo de governação
university research centre
Escala
single research study
Nível de rendimento
high income (Australia)

Habitualmente financiado por

National / regional programmes

Vias de financiamento indicativas para práticas deste tipo — verifique sempre os avisos abertos e as regras de elegibilidade de cada programa.

Kit de replicação

Artefactos reutilizáveis desta prática — tal como publicados pelas suas fontes.

Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.

Fontes de dados

De onde foi obtida a informação desta prática, e quando.

Anexos

Práticas semelhantes que podem ser úteis