Retroalimentación formativa con GPT-4 para clases numerosas de Contabilidad

Dar retroalimentación escrita individualizada en preguntas de ensayo y discusión es una de las tareas más difíciles de realizar bien en una asignatura universitaria numerosa y basada en competencias, donde un docente puede enfrentarse a cientos de exámenes por evaluación. Académicos de contabilidad de la Universidad de Pretoria desarrollaron una aplicación web sin código (en la plataforma Bubble.io) que envía las respuestas de los estudiantes a GPT-4 y devuelve retroalimentación diseñada para seguir los siete principios ampliamente citados de buenas prácticas de retroalimentación de Nicol y Macfarlane-Dick.

Los investigadores se propusieron evaluar en qué medida la retroalimentación generada por IA reflejaba de manera consistente los siete principios de buenas prácticas de retroalimentación —por ejemplo, aclarar cómo es una buena respuesta y ayudar a los estudiantes a autocorregirse en lugar de simplemente proporcionar la respuesta correcta— en lugar de medir mejoras posteriores en las calificaciones.

El equipo recogió una muestra intencional de 75 exámenes (15 por evaluación) que abarcaban cinco evaluaciones distintas de contabilidad a lo largo de dos años académicos, elegidos para cubrir una variedad de niveles de desempeño estudiantil y temas, y publicó el análisis en la revista Assessment & Evaluation in Higher Education.

Dado que la evaluación es una pequeña muestra intencional de un único curso, y no un ensayo aleatorizado ni una implementación en varios cursos, los hallazgos deben interpretarse como una prueba de concepto para la ingeniería de instrucciones de retroalimentación por IA conforme a un estándar pedagógico, y no como evidencia consolidada de impacto en los resultados de aprendizaje.