Course Signals — O Sistema de Alerta Preditivo da Purdue e a sua Alegação de Retenção Desmentida

O Course Signals foi um sistema preditivo de alerta precoce criado na Universidade de Purdue a partir de 2007, liderado por John Campbell, Kimberly Arnold e Matthew Pistilli. Combinava dados demográficos dos alunos, histórico académico anterior e desempenho atual no curso (notas e envolvimento registados no sistema de gestão de aprendizagem) num único indicador semafórico — vermelho, amarelo ou verde — mostrado ao aluno e ao docente, que podia então desencadear contacto personalizado, como emails ou encaminhamento para serviços de apoio.

Num artigo de 2012 apresentado na conferência ACM Learning Analytics and Knowledge, Arnold e Pistilli reportaram que os alunos que frequentaram duas disciplinas com Course Signals tiveram um aumento de 21,48 pontos percentuais na taxa de graduação a seis anos, em comparação com alunos que não frequentaram nenhuma. Com base nesta alegação, o Course Signals foi alargado de disciplinas-piloto para implementação em toda a instituição e foi amplamente citado no ensino superior norte-americano como exemplo emblemático de learning analytics a melhorar a retenção.

Em 2013, análises independentes de Michael Caulfield (Washington State University Vancouver) e Alfred Essa (McGraw-Hill Education) contestaram a conclusão. Caulfield mostrou que, quando o Course Signals se expandiu para além do piloto original, a vantagem na retenção desaparecia: os alunos frequentavam mais disciplinas com Signals porque já persistiam, e não persistiam por causa do Signals. Essa construiu uma simulação substituindo a participação no Signals por atribuição aleatória de 'chocolate' e reproduziu o mesmo padrão estatístico, demonstrando que a correlação original era muito provavelmente um artefacto do comportamento de inscrição em disciplinas, e não um efeito causal da intervenção. A Purdue continuou a operar o Course Signals durante mais alguns anos, mas o sistema acabou por ser descontinuado pelo fornecedor, com o acesso institucional a terminar a 16 de dezembro de 2017.