Un chatbot de IA como cofacilitador de debates en línea — el ensayo controlado aleatorizado de la Universidad de Kioto con estudiantes afganos bajo la prohibición educativa talibán

Afganistan es el unico pais que prohibe sistematicamente a las mujeres y ninas el acceso a la educacion secundaria y superior bajo el regimen talibán desde 2021; muchas mujeres afganas dependen hoy del aprendizaje en linea impartido por organizaciones sin animo de lucro como su principal via de acceso a la educacion, pero las clases en linea numerosas suelen tener dificultades para mantener una interaccion significativa.

Investigadores de la Escuela de Posgrado en Informatica de la Universidad de Kioto pusieron a prueba si anadir un chatbot cofacilitador basado en GPT-4 a los debates en linea posteriores a la clase podia aumentar la participacion y la confianza de los estudiantes afganos.

Se reclutaron 80 estudiantes universitarios de informatica (40 mujeres, 40 hombres, de entre 18 y 26 anos) de un grupo de 3.432 candidatos cualificados y se asignaron aleatoriamente a grupos de control o de tratamiento. Todos los estudiantes asistieron a una clase identica de 50 minutos por Zoom y, a continuacion, participaron en debates posteriores a la clase de 40 minutos en grupos equilibrados por genero de 10 personas, en la plataforma de codigo abierto basada en Discourse «Hyper-Democracy». En la condicion de tratamiento, los debates fueron ademas cofacilitados por un chatbot basado en GPT-4, alimentado con 17 instrucciones de facilitacion redactadas por personas, junto con el mismo instructor humano utilizado en la condicion de control.

Los estudiantes del grupo facilitado por IA publicaron significativamente mas mensajes (media de 8,73 frente a 5,11 por estudiante, p<0,01) y declararon una confianza significativamente mayor en la materia tras la sesion (p=0,037). Las respuestas y el recuento de palabras tambien fueron mayores, pero sin significacion estadistica, y las publicaciones del grupo de control recibieron mas «me gusta» de sus companeros (2,88 frente a 0,78, p<0,001), un patron que los autores atribuyen a un efecto de arrastre que concentra los «me gusta» en un numero menor de publicaciones del grupo de control.

El ensayo consistio en una intervencion de un solo dia en un unico curso, con potencia estadistica adecuada solo para efectos de gran magnitud (d de Cohen >= 0,65), y los autores piden replicas en cursos mas largos y otras materias antes de generalizar los resultados. El trabajo fue financiado por JSPS KAKENHI y JST CREST, y publicado bajo licencia CC-BY-4.0 con una declaracion publica de acceso a los datos.