evidoria

← Retour à la liste

Bonne pratique Importée

GenAI 24x7 Tutor — l'évaluation simulée par des humains de l'Université de Wollongong sur ChatGPT, Wolfram GPT et Tutor Me GPT pour l'ingénierie et les mathématiques

Australie · Wollongong · Voir le profil de Australie

Preuves: Descriptif / auto-déclaré Top 95% 20/100 · Demandez à Evidence Copilot à propos de cette pratique

Des chercheurs de Wollongong ont simulé des étudiants moyens et en difficulté sur 35 sujets d'ingénierie/mathématiques pour tester ChatGPT-4, ChatGPT-4o, Wolfram GPT et Tutor Me GPT comme tuteurs, révélant des erreurs fréquentes et une précision quasi nulle sur certains sujets.

~280 35 topics x 4 tools x 2 student profiles
Sessions de tutorat evaluees
3 of 8
Tentatives correctes sur la question de perte de charge dans une conduite d'eau
2.97 out of 4
Moyenne minimale par modele pour l'experience de tutorat
GenAI 24x7 Tutor — l'évaluation simulée par des humains de l'Université de Wollongong sur ChatGPT, Wolfram GPT et Tutor Me GPT pour l'ingénierie et les mathématiques

Détails

Promoteur
University of Wollongong, Australasian Artificial Intelligence in Engineering Education Centre (AAIEEC)
Période
Second half of 2024 (data collection); published 21 January 2026
Mots-clés
engineering education, mathematics education, GenAI tutoring, accuracy benchmarking, higher education

Contexte

Des chercheurs de la faculte d'ingenierie et des sciences de l'information de l'Universite de Wollongong, via l'Australasian Artificial Intelligence in Engineering Education Centre (AAIEEC), ont teste si ChatGPT-4, ChatGPT-4o, Wolfram GPT et Tutor Me GPT (Khanmigo Lite) pouvaient fonctionner comme des tuteurs precis et pedagogiquement solides disponibles 24 heures sur 24 pour l'ingenierie et les mathematiques.

Objectifs

Le comite d'ethique de la recherche humaine de l'universite n'ayant pas approuve d'essais avec de vrais etudiants sans preuves prealables sur le risque, l'equipe a fait appel a trois assistants de recherche experimentes pour jouer le role d'un etudiant moyen et d'un etudiant en difficulte constante sur 7 matieres et 35 sujets en genie electrique, genie mecanique et mathematiques.

Activités

Chacune des quelque 280 sessions (35 sujets x 4 outils x 2 profils d'etudiants) a dure au moins 20 minutes et a ete notee de 0 a 4 sur la precision et sur six dimensions de l'experience pedagogique, selon une grille adaptee du cadre de tutorat humain-contre-ordinateur de Merrill et al.

Résultats

La precision etait elevee en genie electrique et en mathematiques (generalement 3-4) mais faible en genie mecanique, ou les scores moyens sont tombes en dessous de 3 et, pour un sujet de thermodynamique, ont chute a 0-1,5; une question sur la perte de charge dans une conduite d'eau n'a ete correctement resolue que dans 3 tentatives sur 8. Un test de Friedman n'a trouve aucune difference statistiquement significative de precision entre les quatre outils. Les scores d'experience de tutorat etaient plus systematiquement positifs (moyenne minimale par modele de 2,97/4), ChatGPT-4 etant note comme le meilleur tuteur global.

Conclusions

Les auteurs precisent explicitement qu'il s'agissait d'une simulation, et non d'un essai avec de vrais etudiants, et que cela 'n'offre aucune preuve directe de l'efficacite reelle de l'IA generative pour soutenir l'apprentissage'. Ils deconseillent une mise en oeuvre plus large en classe tant que la precision ne s'est pas amelioree et qu'un essai supervise avec des etudiants n'a pas ete mene.

Mise en œuvre
Coût indicatif
Faible (< 50 k€) — Research study using existing commercial AI tools; no infrastructure build cost.
Délai jusqu’aux résultats
Court (< 1 an) — Data collection second half of 2024; published 21 January 2026.
Personnel et compétences
University of Wollongong, Faculty of Engineering and Information Sciences, Australasian Artificial Intelligence in Engineering Education Centre (AAIEEC), three research assistants (two PhD candidates, one doctorate holder)

Conditions de réussite

  • standardised rubric (adapted from Merrill et al.) scoring both accuracy and pedagogical-experience dimensions
  • role-play simulation used specifically because ethics approval for a real-student trial required prior risk evidence

Modes d’échec courants

  • accuracy dropped to near zero on some mechanical-engineering/thermodynamics topics
  • study authors explicitly recommend against classroom use until accuracy improves and a real-student trial is run

Où cela s’applique

Type de gouvernance
university research centre
Échelle
single research study
Niveau de revenu
high income (Australia)

Habituellement financé par

National / regional programmes

Pistes de financement indicatives pour des pratiques de ce type — vérifiez toujours les appels en cours et les règles d'éligibilité de chaque programme.

Kit de réplication

Artefacts réutilisables de cette pratique — tels que publiés par leurs sources.

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles