La « surprise GPT » — essai randomisé de Stanford (Code in Place) sur le chat GPT-4 auprès de 5 831 apprenants dans 146 pays

Code in Place est le cours gratuit d'introduction à Python en ligne de Stanford, avec des séances en petits groupes animées par des bénévoles. Dans un article de Learning @ Scale 2025, Allen Nie, Chris Piech et leurs collègues rapportent un essai randomisé dans une cohorte de 8 762 inscrits de 146 pays. L'échantillon expérimental réunissait les 5 831 étudiants encore actifs après la semaine 1, répartis à 60 % en traitement (n=3 581) et 40 % en contrôle (n=2 250). Les étudiants traités disposaient d'une interface GPT-4 propre au cours.
En moyenne, la promotion et l'offre de l'outil ont réduit significativement la participation aux examens (l'estimation d'accès rapportée est d'environ −4,3 points de pourcentage) et aussi la participation aux devoirs et la présence aux séances. Les étudiants qui ont réellement adopté l'outil ont toutefois montré des bénéfices positifs sur leurs résultats d'examen. Pour les étudiants de pays à faible indice de développement humain, l'accès a augmenté en moyenne la participation aux examens, ce qui indique des effets inégaux selon le contexte.
Les auteurs soulignent que les effets à plus long terme sur la réussite restent incertains et que les comparaisons entre adoptants ne sont pas purement randomisées. Ce cas est précieux : il associe un très grand échantillon randomisé à une tension nette — le chat avec un LLM peut aider ceux qui l'utilisent tout en réduisant l'engagement global.