evidoria

← Back to browse

Good practice

OU Analyse — o sistema de alerta precoce de analítica preditiva de aprendizagem da Open University

United Kingdom · Milton Keynes · See the United Kingdom profile

A Open University do Reino Unido opera o OU Analyse, um sistema de aprendizagem automática que assinala semanalmente estudantes a distância em risco, em produção desde 2014 — passando de 2 cursos-piloto para dezenas — com mais de uma década de publicações revistas por pares sobre metodologia, equidade e uso por tutores, embora sem prova causal por ensaio aleatorizado de ganhos de retenção.

~1,500 and ~3,000 students
Estudantes nos cursos-piloto iniciais de 2014 (spring 2014)
18 courses
Cursos que utilizam o sistema (autumn 2014-spring 2015)
22 courses, 32,593 students, 10.6M+ VLE interaction records
Cobertura do conjunto de dados OULAD (published 2017)
OU Analyse — o sistema de alerta precoce de analítica preditiva de aprendizagem da Open University

Details

Maturity
Established
Promoter
The Open University (Knowledge Media Institute)
Period
2014–ongoing
Keywords
learning analytics, predictive modelling, student retention, early-warning system, distance education

Context

OU Analyse é um sistema de alerta precoce baseado em aprendizagem automática, desenvolvido pelo Knowledge Media Institute da Open University (Reino Unido), que produz previsões semanais sobre quais os estudantes de ensino a distância em risco de reprovar numa próxima avaliação, com base em dados demográficos e em interações de clickstream com o Virtual Learning Environment da universidade. As previsões são partilhadas com os tutores das disciplinas e com as Equipas de Apoio ao Estudante para priorizar o contacto.

Objectives

O sistema visa permitir apoio atempado e direcionado aos estudantes identificados como estando em risco, sendo que a universidade descreve a intervenção atempada como o objetivo que as previsões possibilitam, e não como um resultado causal quantificado separadamente.

Activities

O sistema tem funcionado em produção contínua desde a primavera de 2014, quando foi testado em dois cursos introdutórios (com cerca de 1500 e 3000 estudantes, respetivamente); expandiu-se para 18 cursos até ao outono de 2014/primavera de 2015 e continuou a operar a nível institucional durante mais de uma década.

Results

A metodologia subjacente e o conjunto de dados (OULAD) foram publicados em 2017 na Scientific Data, revista científica da Nature avaliada por pares, abrangendo 22 cursos, 32 593 estudantes e mais de 10,6 milhões de registos de interação com o VLE — um dos maiores conjuntos de dados de learning analytics publicados abertamente, amplamente reutilizado por outros investigadores. Investigação subsequente, avaliada por pares, examinou os compromissos na exatidão das previsões (a precisão a aumentar mas a exaustividade (recall) a diminuir à medida que se acumulam mais dados dentro de cada curso), a forma como os tutores utilizam e confiam nos painéis (dashboards), e a equidade algorítmica entre grupos demográficos de estudantes.

Conclusions

O material de origem é explícito ao afirmar que o que foi demonstrado é a exatidão das previsões e o uso operacional sustentado ao longo de muitos cursos e anos, e não uma estimativa causal, aleatorizada ou quase-experimental, de quanto as próprias previsões aumentam as taxas de aprovação ou retenção em relação a um grupo de comparação.

Implementation

Implementation detail (cost, timeline, staffing, conditions for success) is not yet available for this practice.

Data sources

Where this practice's information was retrieved from, and when.

Attachments

Similar practices you may find useful