Predecir el riesgo de abandono escolar, incumplir la ley de privacidad — El fallo sobre IA del consejo escolar Val-des-Cerfs, Quebec

A partir de aproximadamente 2017, el Centre de services scolaire du Val-des-Cerfs, en los Cantones del Este de Quebec, trabajó con especialistas en análisis de datos de la firma contable Raymond Chabot Grant Thornton para construir un modelo de aprendizaje automático que predecía qué alumnos de 6.º grado corrían un riesgo significativo de abandonar la escuela tres años después. El modelo se basó en más de 300 puntos de datos recopilados desde 2002 sobre 60.000 alumnos, incluidos resultados académicos, ayuda financiera, absentismo, historial disciplinario y cambios frecuentes de domicilio, eliminando previamente campos identificativos como nombres y direcciones.

CBC News informó en noviembre de 2018 de que el modelo alcanzó un 92% de precisión en su propia prueba retrospectiva y que, al final del año escolar 2017-2018, había señalado a unos 90 alumnos que pasaban a 7.º grado como en riesgo, enviando los factores contribuyentes a sus respectivas escuelas. El Ministerio de Educación de Quebec pidió posteriormente a un centro de investigación provincial que estudiara extender el enfoque a todo el sistema.

Tras la cobertura mediática, la autoridad de protección de datos de Quebec, la Commission d'accès à l'information (CAI), investigó y dictaminó en diciembre de 2022 que el consejo escolar había infringido la ley provincial de privacidad: los datos desidentificados no habían sido debidamente anonimizados, por lo que los alumnos seguían siendo reidentificables mediante otros registros institucionales; las puntuaciones de riesgo generadas por el algoritmo constituían nueva información personal; y nunca se informó a padres y alumnos de que sus datos se estaban usando de esta manera. La CAI ordenó al consejo escolar notificar a las familias afectadas sobre el propósito del proyecto, las fuentes de datos y sus derechos. El caso es un ejemplo documentado y cautelar de un sistema de IA con un rendimiento predictivo declarado, pero sin base legal ni transparencia en el tratamiento de datos sensibles de los alumnos.