Newark Public Schools × Khanmigo — De um piloto numa escola a 66 escolas com evidência produzida pelo fornecedor

O distrito de Newark (Nova Jérsia) começou a testar o tutor e assistente docente de IA Khanmigo, da Khan Academy, na First Avenue School em 2023, sem custos, do 5.º ao 8.º ano, em matemática, leitura, escrita e ciências. Newark foi um de 53 distritos a testar a ferramenta. O Chalkbeat noticiou que os distritos pagam a partir de 35 dólares por aluno por ano, que o conselho aprovou em março de 2024 um acordo de partilha de dados para estudar a eficácia e que o distrito não divulgou dados de utilização nem de resultados.
O estudo de caso da própria Khan Academy indica que a parceria passou de 14 escolas do North Ward para 66 escolas e cerca de 29 000 dos 43 000 alunos do distrito. Descreve um estudo longitudinal de três anos com cerca de 8 000 alunos do 3.º ao 8.º ano, no qual os «Yearly Proficient Learners» (os que aprenderam 60 competências adicionais) ganharam em média 6 pontos em matemática no NJSLA, contra 2 da média estadual.
A evidência é fraca para afirmações causais: a comparação é com a média estadual e não com alunos equivalentes, os alunos de maior utilização podem ser autosselecionados, não há dimensões de efeito nem intervalos de confiança, e os resultados combinam a prática na Khan Academy com o Khanmigo, pelo que o efeito do tutor de IA não pode ser isolado. Foram também relatados problemas iniciais: o Khanmigo cometeu erros em matemática básica, por vezes deu ajuda a mais e estava disponível durante avaliações; a Khan Academy alterou as instruções e desativou-o durante os testes. Especialistas independentes citados pelo Chalkbeat pediram mais investigação antes de alargar.
Lição para replicação: o caso mostra a rapidez com que os distritos escalam o tutor de IA e por que razão deve acordar-se, antes da expansão, uma avaliação independente com grupo de comparação e dados publicados.