Prever o Risco de Abandono Escolar, Violar a Lei da Privacidade — A Decisão sobre IA do Conselho Escolar Val-des-Cerfs, Quebeque

A partir de cerca de 2017, o Centre de services scolaire du Val-des-Cerfs, nos Cantões do Leste do Quebeque, trabalhou com especialistas em análise de dados da empresa de contabilidade Raymond Chabot Grant Thornton para construir um modelo de aprendizagem automática que previa quais alunos do 6.º ano estavam em risco significativo de abandonar a escola três anos depois. O modelo baseou-se em mais de 300 pontos de dados recolhidos desde 2002 sobre 60.000 alunos, incluindo resultados académicos, apoio financeiro, absentismo, histórico disciplinar e mudanças frequentes de morada, com campos identificativos como nomes e moradas removidos antes da análise.

A CBC News noticiou em novembro de 2018 que o modelo atingiu 92% de precisão no seu próprio teste retrospetivo e que, no final do ano letivo de 2017–2018, tinha sinalizado cerca de 90 alunos que entravam no 7.º ano como estando em risco, com os fatores contribuintes enviados às respetivas escolas. O Ministério da Educação do Quebeque solicitou posteriormente a um centro de investigação provincial que estudasse a extensão desta abordagem a todo o sistema.

Após a cobertura mediática, a autoridade de proteção de dados do Quebeque, a Commission d'accès à l'information (CAI), investigou e decidiu, em dezembro de 2022, que o conselho escolar tinha violado a lei provincial de privacidade: os dados removidos estavam desidentificados, mas não devidamente anonimizados, o que significa que os alunos continuavam a ser reidentificáveis através de outros registos institucionais; as pontuações de risco geradas pelo algoritmo constituíam novos dados pessoais; e os pais e alunos nunca foram informados de que os seus dados estavam a ser utilizados desta forma. A CAI ordenou ao conselho escolar que notificasse as famílias afetadas sobre o propósito do projeto, as fontes de dados e os seus direitos. O caso é um exemplo documentado e cautelar de um sistema de IA com um desempenho preditivo relatado, mas sem base legal nem transparência no tratamento de dados sensíveis de alunos.