evidoria

← Back to browse

Good practice

OU Analyse — le système d'alerte précoce d'analyse prédictive de l'apprentissage de l'Open University

United Kingdom · Milton Keynes · See the United Kingdom profile

L'Open University du Royaume-Uni exploite OU Analyse, un système d'apprentissage automatique qui signale chaque semaine les étudiants à distance à risque, en production depuis 2014 — passant de 2 cours pilotes à des dizaines — avec plus d'une décennie de publications évaluées par les pairs sur la méthodologie, l'équité et l'usage par les tuteurs, mais sans preuve causale par essai randomisé d'un gain de rétention.

~1,500 and ~3,000 students
Étudiants dans les cours pilotes initiaux de 2014 (spring 2014)
18 courses
Cours utilisant le système (autumn 2014-spring 2015)
22 courses, 32,593 students, 10.6M+ VLE interaction records
Couverture du jeu de données OULAD (published 2017)
OU Analyse — le système d'alerte précoce d'analyse prédictive de l'apprentissage de l'Open University

Details

Maturity
Established
Promoter
The Open University (Knowledge Media Institute)
Period
2014–ongoing
Keywords
learning analytics, predictive modelling, student retention, early-warning system, distance education

Context

OU Analyse est un système d'alerte précoce fondé sur l'apprentissage automatique, développé par le Knowledge Media Institute de l'Open University (Royaume-Uni), qui produit des prédictions hebdomadaires indiquant quels étudiants en enseignement à distance risquent d'échouer à une prochaine évaluation, sur la base de données démographiques et des interactions de clickstream avec le Virtual Learning Environment de l'université. Les prédictions sont partagées avec les tuteurs de cours et les Student Support Teams afin de prioriser les actions de suivi.

Objectives

Le système vise à permettre un soutien rapide et ciblé aux étudiants identifiés comme à risque, l'université décrivant l'intervention rapide comme l'objectif que permettent les prédictions, plutôt que comme un résultat causal quantifié séparément.

Activities

Le système fonctionne en production continue depuis le printemps 2014, date à laquelle il a été testé sur deux cours d'introduction (environ 1 500 et 3 000 étudiants respectivement) ; il s'est étendu à 18 cours à l'automne 2014/printemps 2015 et continue de fonctionner à l'échelle de l'établissement depuis plus d'une décennie.

Results

La méthodologie sous-jacente et le jeu de données (OULAD) ont été publiés en 2017 dans Scientific Data, la revue à comité de lecture de Nature, couvrant 22 cours, 32 593 étudiants et plus de 10,6 millions d'enregistrements d'interactions avec le VLE — l'un des plus grands jeux de données de learning analytics publiés en libre accès, largement réutilisé par d'autres chercheurs. Des recherches ultérieures évaluées par des pairs ont examiné les compromis en matière de précision des prédictions (la précision augmentant mais le rappel diminuant à mesure que davantage de données s'accumulent au sein d'un même cours), la manière dont les tuteurs utilisent les tableaux de bord et leur font confiance, ainsi que l'équité algorithmique entre les groupes démographiques d'étudiants.

Conclusions

Le matériau source précise explicitement que ce qui a été démontré est l'exactitude des prédictions et leur utilisation opérationnelle soutenue sur de nombreux cours et années, et non une estimation causale randomisée ou quasi expérimentale de la mesure dans laquelle les prédictions elles-mêmes augmentent les taux de réussite ou de rétention par rapport à un groupe de comparaison.

Implementation

Implementation detail (cost, timeline, staffing, conditions for success) is not yet available for this practice.

Data sources

Where this practice's information was retrieved from, and when.

Attachments

Similar practices you may find useful