GenAI 24x7 Tutor — l'évaluation simulée par des humains de l'Université de Wollongong sur ChatGPT, Wolfram GPT et Tutor Me GPT pour l'ingénierie et les mathématiques

Des chercheurs de la Faculté d'ingénierie et des sciences de l'information de l'Université de Wollongong, via l'Australasian Artificial Intelligence in Engineering Education Centre (AAIEEC), ont testé si ChatGPT-4, ChatGPT-4o, Wolfram GPT et Tutor Me GPT (Khanmigo Lite) pouvaient fonctionner comme des tuteurs 24h/24 précis et pédagogiquement solides pour l'ingénierie et les mathématiques. Le comité d'éthique de la recherche sur des sujets humains n'ayant pas approuvé d'essais avec de véritables étudiants sans preuves préalables sur les risques, l'équipe a plutôt fait appel à trois assistants de recherche expérimentés (deux doctorants et un titulaire d'un doctorat) pour jouer le rôle d'un étudiant moyen et d'un étudiant en difficulté constante, sur 7 matières et 35 sujets d'électrotechnique, de génie mécanique et de mathématiques.

Chacune des quelque 280 séances (35 sujets × 4 outils × 2 profils d'étudiant) a duré au moins 20 minutes et a été notée de 0 à 4 sur la précision ainsi que sur six dimensions de l'expérience pédagogique (pertinence, efficacité pédagogique, engagement, progression, compréhension contextuelle, usage d'exemples), selon une grille adaptée du cadre de comparaison entre tutorat humain et informatique de Merrill et al.

La précision était élevée en électrotechnique et en mathématiques (les modèles obtenant généralement 3 à 4, soit au plus une erreur mineure), mais faible en génie mécanique, où les scores moyens sont tombés sous 3 et, pour un sujet de thermodynamique, ont chuté à 0–1,5 ; une question sur la perte de charge dans une conduite d'eau n'a reçu une réponse correcte que dans 3 cas sur 8. Un test de Friedman n'a révélé aucune différence statistiquement significative de précision entre les quatre outils. Les scores d'expérience de tutorat étaient plus constamment positifs (moyenne la plus basse par modèle : 2,97/4), ChatGPT-4 étant jugé le meilleur tuteur global et Tutor Me GPT le plus faible.

Les auteurs précisent explicitement qu'il s'agissait d'une simulation, et non d'un essai avec de véritables étudiants, et qu'elle « n'apporte aucune preuve directe de l'efficacité réelle de la GenAI pour soutenir l'apprentissage ». Ils déconseillent un déploiement plus large en classe tant que la précision ne s'améliore pas et qu'un essai supervisé avec des étudiants n'a pas été mené, et indiquent que l'auteur principal siège au comité éditorial de la revue (et s'est récusé de la décision éditoriale). L'article est en libre accès (CC-BY-4.0), avec en annexe le texte exact de l'invite de tutorat utilisée.