Un chatbot IA co-animateur de discussions en ligne — l'essai contrôlé randomisé de l'Université de Kyoto avec des étudiants afghans sous l'interdiction éducative des talibans

L'Afghanistan est le seul pays a interdire systematiquement aux femmes et aux filles l'acces a l'enseignement secondaire et superieur sous le regime des talibans depuis 2021 ; de nombreuses Afghanes dependent aujourd'hui de l'apprentissage en ligne dispense par des organisations a but non lucratif comme principale voie d'acces a l'education, mais les grandes classes en ligne peinent souvent a maintenir une interaction significative.

Des chercheurs de l'ecole superieure d'informatique de l'universite de Kyoto ont teste si l'ajout d'un chatbot cofacilitateur base sur GPT-4 aux discussions en ligne post-cours pouvait accroitre la participation et la confiance des etudiantes et etudiants afghans.

80 etudiants de premier cycle en informatique (40 femmes, 40 hommes, ages de 18 a 26 ans) ont ete recrutes parmi un vivier de 3 432 candidats qualifies et repartis aleatoirement entre groupes temoin et groupes traites. Tous les etudiants ont assiste a un cours Zoom identique de 50 minutes, puis ont participe a des discussions post-cours de 40 minutes en groupes mixtes de 10 personnes equilibres selon le genre, sur la plateforme open source basee sur Discourse « Hyper-Democracy ». Dans la condition de traitement, les discussions etaient en outre cofacilitees par un chatbot base sur GPT-4, alimente par 17 consignes de facilitation redigees par des humains, aux cotes du meme enseignant humain utilise dans la condition temoin.

Les etudiants du groupe facilite par l'IA ont publie significativement plus de messages (moyenne de 8,73 contre 5,11 par etudiant, p<0,01) et ont declare une confiance significativement plus elevee dans la matiere apres la seance (p=0,037). Les reponses et le nombre de mots etaient egalement plus eleves, mais sans signification statistique, et les publications du groupe temoin ont recu davantage de « j'aime » de la part des pairs (2,88 contre 0,78, p<0,001) -- un schema que les auteurs attribuent a un effet d'entrainement concentrant les « j'aime » sur un nombre plus restreint de publications du groupe temoin.

L'essai portait sur une intervention d'une seule journee, dans un seul cours, avec une puissance statistique suffisante uniquement pour des effets de grande ampleur (d de Cohen >= 0,65), et les auteurs appellent a une replication sur des cours plus longs et d'autres disciplines avant toute generalisation. Ces travaux ont ete finances par la JSPS KAKENHI et la JST CREST, et publies sous licence CC-BY-4.0 avec une declaration publique d'acces aux donnees.