A «surpresa GPT» — ensaio aleatorizado de Stanford (Code in Place) com chat GPT-4 para 5831 aprendentes em 146 países

O Code in Place é o curso gratuito e online de introdução ao Python de Stanford, com sessões em pequenos grupos conduzidas por voluntários. Num artigo da Learning @ Scale 2025, Allen Nie, Chris Piech e colegas descrevem um ensaio aleatorizado numa coorte de 8762 inscritos de 146 países. O grupo experimental foi formado pelos 5831 estudantes ainda ativos após a semana 1, distribuídos 60% para tratamento (n=3581) e 40% para controlo (n=2250). Os estudantes tratados receberam uma interface específica do curso para o GPT-4.
Em média, divulgar e oferecer a ferramenta reduziu significativamente a participação em exames (a estimativa de acesso indicada é de cerca de −4,3 pontos percentuais) e diminuiu também a participação nos trabalhos de casa e a presença nas sessões. Os estudantes que realmente adotaram a ferramenta mostraram, contudo, benefícios positivos no desempenho nos exames. Para estudantes de países com baixo índice de desenvolvimento humano, o acesso aumentou em média a participação nos exames, o que aponta para efeitos desiguais consoante o contexto.
Os autores sublinham que os efeitos a mais longo prazo no sucesso dos estudantes continuam por esclarecer e que as comparações entre adotantes não são puramente aleatorizadas. O caso é valioso por combinar uma amostra aleatorizada muito grande com uma tensão clara: o chat com LLM pode ajudar quem o usa, mas reduzir o envolvimento global.