GenAI 24x7 Tutor — Avaliação Simulada por Humanos da Universidade de Wollongong sobre o ChatGPT, Wolfram GPT e Tutor Me GPT para Engenharia e Matemática

Investigadores da Faculdade de Engenharia e Ciências da Informação da Universidade de Wollongong, através do Australasian Artificial Intelligence in Engineering Education Centre (AAIEEC), testaram se o ChatGPT-4, o ChatGPT-4o, o Wolfram GPT e o Tutor Me GPT (Khanmigo Lite) conseguiam funcionar como tutores 24 horas por dia precisos e pedagogicamente sólidos para engenharia e matemática. Como a comissão de ética em investigação com seres humanos não aprovaria ensaios com estudantes reais sem provas prévias sobre os riscos, a equipa recorreu antes a três assistentes de investigação experientes (dois candidatos a doutoramento e um doutorado) para simularem um estudante médio e um estudante com dificuldades persistentes, em 7 disciplinas e 35 tópicos de engenharia elétrica, engenharia mecânica e matemática.

Cada uma das cerca de 280 sessões (35 tópicos × 4 ferramentas × 2 perfis de estudante) durou pelo menos 20 minutos e foi pontuada de 0 a 4 quanto à precisão e a seis dimensões da experiência pedagógica (relevância, eficácia pedagógica, envolvimento, progressão, compreensão contextual, uso de exemplos), com uma grelha adaptada do quadro de comparação entre tutoria humana e computacional de Merrill et al.

A precisão foi elevada em engenharia elétrica e matemática (os modelos obtiveram geralmente 3–4, ou seja, no máximo um erro menor), mas fraca em engenharia mecânica, onde as pontuações médias ficaram abaixo de 3 e, num tópico de termodinâmica, desceram para 0–1,5; uma pergunta sobre a queda de pressão numa tubagem de água só foi respondida corretamente em 3 de 8 tentativas. Um teste de Friedman não encontrou diferenças estatisticamente significativas na precisão entre as quatro ferramentas. As pontuações de experiência de tutoria foram mais consistentemente positivas (a média mais baixa entre modelos foi 2,97/4), com o ChatGPT-4 classificado como o melhor tutor global e o Tutor Me GPT como o mais fraco.

Os autores são explícitos ao afirmar que se tratou de uma simulação, e não de um ensaio com estudantes reais, e que esta 'não oferece evidência direta da eficácia real da GenAI no apoio à aprendizagem'. Recomendam que não se avance para uma implementação mais alargada em sala de aula até que a precisão melhore e se realize um ensaio supervisionado com estudantes, e divulgam que o autor principal integra o conselho editorial da revista (tendo-se escusado da decisão editorial). O artigo é de acesso aberto (CC-BY-4.0), com um anexo completo com o texto exato do comando de tutoria utilizado.