IA como Co-Facilitadora de Discussões Online — Ensaio Controlado Aleatorizado da Universidade de Kyoto com Estudantes Afegãos Sob a Proibição Educativa do Talibã

O Afeganistao e o unico pais que proibe sistematicamente as mulheres e raparigas de frequentarem o ensino secundario e superior sob o dominio talibane desde 2021; muitas mulheres afegas dependem hoje do ensino online, disponibilizado por organizacoes sem fins lucrativos, como principal via de acesso a educacao, mas as grandes turmas online tem frequentemente dificuldade em sustentar uma interacao significativa.

Investigadores da Escola de Pos-Graduacao em Informatica da Universidade de Quioto testaram se a adicao de um chatbot cofacilitador baseado em GPT-4 as discussoes online pos-aula poderia aumentar a participacao e a confianca dos estudantes afegaos.

Foram recrutados 80 estudantes de licenciatura em ciencias da computacao (40 mulheres, 40 homens, entre os 18 e os 26 anos) de um conjunto de 3432 candidatos qualificados e distribuidos aleatoriamente por grupos de controlo ou de tratamento. Todos os estudantes assistiram a uma aula identica de 50 minutos via Zoom e, em seguida, participaram em discussoes pos-aula de 40 minutos em grupos equilibrados por genero de 10 pessoas, na plataforma de codigo aberto baseada em Discourse 'Hyper-Democracy'. Na condicao de tratamento, as discussoes foram adicionalmente cofacilitadas por um chatbot baseado em GPT-4, alimentado com 17 instrucoes de facilitacao escritas por humanos, juntamente com o mesmo instrutor humano utilizado na condicao de controlo.

Os estudantes do grupo facilitado por IA publicaram significativamente mais mensagens (media de 8,73 face a 5,11 por estudante, p<0,01) e reportaram uma confianca significativamente superior no conteudo apos a sessao (p=0,037). As respostas e a contagem de palavras tambem foram superiores, mas sem significancia estatistica, e as publicacoes do grupo de controlo receberam mais 'gostos' de pares (2,88 face a 0,78, p<0,001) -- um padrao que os autores atribuem a um efeito de arrastamento que concentra os gostos num numero menor de publicacoes do grupo de controlo.

O ensaio foi uma intervencao de um unico dia, numa unica disciplina, com poder estatistico adequado apenas para efeitos de grande dimensao (d de Cohen >= 0,65), e os autores apelam a replicas em disciplinas e cursos mais longos antes de se poder generalizar. O trabalho foi financiado pela JSPS KAKENHI e pela JST CREST, e publicado sob licenca CC-BY-4.0 com uma declaracao publica de acesso aos dados.