Course Signals — Le système d'alerte précoce prédictif de Purdue et sa promesse de rétention démentie

Course Signals était un système prédictif d'alerte précoce conçu à l'université Purdue à partir de 2007, sous la direction de John Campbell, Kimberly Arnold et Matthew Pistilli. Il combinait les données démographiques des étudiants, leur parcours académique antérieur et leur performance actuelle dans le cours (notes et engagement enregistrés dans le système de gestion de l'apprentissage) en un indicateur unique de type feu tricolore — rouge, jaune ou vert — affiché à l'étudiant et à l'enseignant, qui pouvait alors déclencher un contact personnalisé, par exemple des e-mails ou une orientation vers des services d'accompagnement.

Dans un article de 2012 présenté à la conférence ACM Learning Analytics and Knowledge, Arnold et Pistilli ont rapporté que les étudiants ayant suivi deux cours équipés de Signals avaient vu leur taux de diplomation à six ans augmenter de 21,48 points de pourcentage par rapport à ceux n'en ayant suivi aucun. Fort de ce résultat, Course Signals est passé de cours pilotes à un déploiement à l'échelle de l'établissement et a été largement cité dans l'enseignement supérieur américain comme un exemple phare de l'apprentissage analytique améliorant la rétention.

En 2013, des analyses indépendantes de Michael Caulfield (Washington State University Vancouver) et Alfred Essa (McGraw-Hill Education) ont contesté ce résultat. Caulfield a montré qu'une fois Signals étendu au-delà du pilote initial, l'avantage en matière de rétention disparaissait : les étudiants suivaient davantage de cours équipés de Signals parce qu'ils persévéraient déjà, et non l'inverse. Essa a construit une simulation remplaçant la participation à Signals par une attribution aléatoire de 'chocolat' et a reproduit le même schéma statistique, démontrant que la corrélation initiale était très probablement un artefact du comportement d'inscription aux cours plutôt qu'un effet causal de l'intervention. Purdue a continué à exploiter Course Signals pendant plusieurs années encore, mais le système a finalement été abandonné par son fournisseur, l'accès institutionnel prenant fin le 16 décembre 2017.