Cognitive Tutor Algebra I — Ensaio aleatorizado da RAND revela um ganho tardio de cerca de 0,2 DP no ensino secundário dos EUA

O Cognitive Tutor Algebra I combina um sistema de tutoria inteligente baseado em IA com um currículo misto em sala de aula. O ensaio de eficácia da RAND (Pane et al., 2014, Educational Evaluation and Policy Analysis) atribuiu aleatoriamente escolas à utilização do tutor ou à continuação do currículo habitual de álgebra.
No primeiro ano de implementação, as diferenças no pós-teste não foram estatisticamente significativas. No segundo ano, as escolas secundárias que usaram o tutor superaram as de controlo em cerca de 0,2 desvios-padrão, o que os autores descrevem como passar um aluno típico do percentil 50 para o 58. A estimativa do segundo ano no 3.º ciclo teve dimensão semelhante, mas não foi significativa.
Ressalvas: as escolas de tratamento tinham pontuações pré-teste ligeiramente inferiores, a média ponderada de três estudos secundários qualificados no Evidence for ESSA é muito menor (+0,03) e análises posteriores sugerem que o ganho pode não resultar da aprendizagem por mestria. O caso mostra que o software de tutoria pode precisar de tempo e de adaptação dos professores para dar frutos.