evidoria

← Volver al listado

Buena práctica Importada

GenAI 24x7 Tutor — la evaluación simulada por humanos de la Universidad de Wollongong sobre ChatGPT, Wolfram GPT y Tutor Me GPT para ingeniería y matemáticas

Australia · Wollongong · Ver el perfil de Australia

Evidencia: Descriptivo / autodeclarado Top 95% 20/100 · Pregunte a Evidence Copilot sobre esta práctica

Investigadores de Wollongong simularon a estudiantes promedio y con dificultades en 35 temas de ingeniería/matemáticas para probar a ChatGPT-4, ChatGPT-4o, Wolfram GPT y Tutor Me GPT como tutores, hallando errores frecuentes y precisión casi nula en algunos temas.

~280 35 topics x 4 tools x 2 student profiles
Sesiones de tutoria evaluadas
3 of 8
Intentos correctos en la pregunta de perdida de presion en tuberias de agua
2.97 out of 4
Media minima del modelo en experiencia de tutoria
GenAI 24x7 Tutor — la evaluación simulada por humanos de la Universidad de Wollongong sobre ChatGPT, Wolfram GPT y Tutor Me GPT para ingeniería y matemáticas

Detalles

Promotor
University of Wollongong, Australasian Artificial Intelligence in Engineering Education Centre (AAIEEC)
Período
Second half of 2024 (data collection); published 21 January 2026
Palabras clave
engineering education, mathematics education, GenAI tutoring, accuracy benchmarking, higher education

Contexto

Investigadores de la Facultad de Ingenieria y Ciencias de la Informacion de la Universidad de Wollongong, a traves del Australasian Artificial Intelligence in Engineering Education Centre (AAIEEC), probaron si ChatGPT-4, ChatGPT-4o, Wolfram GPT y Tutor Me GPT (Khanmigo Lite) podian funcionar como tutores precisos y pedagogicamente solidos disponibles las 24 horas para ingenieria y matematicas.

Objetivos

Como el comite de etica de investigacion con seres humanos de la universidad no aprobaria ensayos con estudiantes reales sin evidencia previa sobre el riesgo, el equipo utilizo a tres asistentes de investigacion experimentados para representar a un estudiante medio y a un estudiante con dificultades persistentes en 7 asignaturas y 35 temas de ingenieria electrica, ingenieria mecanica y matematicas.

Actividades

Cada una de las aproximadamente 280 sesiones (35 temas x 4 herramientas x 2 perfiles de estudiante) duro al menos 20 minutos y se puntuo de 0 a 4 en precision y en seis dimensiones de experiencia pedagogica, usando una rubrica adaptada del marco de tutoria humano frente a computadora de Merrill et al.

Resultados

La precision fue alta en ingenieria electrica y matematicas (generalmente 3-4) pero baja en ingenieria mecanica, donde las puntuaciones medias cayeron por debajo de 3 y, en un tema de termodinamica, bajaron a 0-1,5; una pregunta sobre perdida de presion en tuberias de agua solo se respondio correctamente en 3 de 8 intentos. Una prueba de Friedman no encontro diferencias estadisticamente significativas en precision entre las cuatro herramientas. Las puntuaciones de experiencia de tutoria fueron mas consistentemente positivas (media minima del modelo 2,97/4), con ChatGPT-4 calificado como el mejor tutor en general.

Conclusiones

Los autores son explicitos al senalar que se trato de una simulacion, no de un ensayo con estudiantes reales, y que esto 'no ofrece evidencia directa de la eficacia real de la IA generativa para apoyar el aprendizaje'. Recomiendan no implementarlo mas ampliamente en el aula hasta que mejore la precision y se realice un ensayo supervisado con estudiantes.

Implementación
Coste indicativo
Bajo (< 50 000 €) — Research study using existing commercial AI tools; no infrastructure build cost.
Tiempo hasta resultados
Corto (< 1 año) — Data collection second half of 2024; published 21 January 2026.
Personal y competencias
University of Wollongong, Faculty of Engineering and Information Sciences, Australasian Artificial Intelligence in Engineering Education Centre (AAIEEC), three research assistants (two PhD candidates, one doctorate holder)

Condiciones para el éxito

  • standardised rubric (adapted from Merrill et al.) scoring both accuracy and pedagogical-experience dimensions
  • role-play simulation used specifically because ethics approval for a real-student trial required prior risk evidence

Modos de fallo comunes

  • accuracy dropped to near zero on some mechanical-engineering/thermodynamics topics
  • study authors explicitly recommend against classroom use until accuracy improves and a real-student trial is run

Dónde encaja

Tipo de gobernanza
university research centre
Escala
single research study
Nivel de ingresos
high income (Australia)

Habitualmente financiado por

National / regional programmes

Vías de financiación indicativas para prácticas de este tipo: compruebe siempre las convocatorias vigentes y las reglas de elegibilidad de cada programa.

Kit de replicación

Artefactos reutilizables de esta práctica — tal como los publican sus fuentes.

¿Usted implementa esta práctica? Reivindíquela — los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.

Fuentes de datos

De dónde se obtuvo la información de esta práctica, y cuándo.

Adjuntos

Prácticas similares que pueden serle útiles