evidoria

← Back to browse

Good practice

bettermarks — A Eficácia Real da Plataforma de Matemática Adaptativa por IA nos Sistemas Escolares Estaduais Alemães

Germany · Berlin · See the Germany profile

A plataforma alemã bettermarks — usada em 9 dos 16 estados federados, cerca de 500 mil alunos — teve em 2026 o seu teste independente mais rigoroso: um estudo com 587 alunos de escolas desfavorecidas encontrou ganhos reais mas dependentes do uso, e impacto médio próximo de zero.

587 students, 60 classes, 25 schools
Amostra do estudo de campo alemão (Sept 2024 - Mar 2025)
9.2 minutes/week
Uso médio semanal do sistema (Alemanha)
β=.13 (p<.01)
Efeito individual do uso na escola
2,143 students, 237 schools
Amostra do estudo do Uruguai (PAM) (study published Oct 2017)
0.20 standard deviations
Efeito de ganho de aprendizagem no Uruguai (PAM)
~500,000 students, 500+ schools, 9 of 16 German federal states
Escala de implementação da plataforma (as of August 2025)
bettermarks — A Eficácia Real da Plataforma de Matemática Adaptativa por IA nos Sistemas Escolares Estaduais Alemães

Details

Maturity
Established
Promoter
bettermarks GmbH
Period
2009 pilot – ongoing; cited field study Sept 2024 – Mar 2025
Keywords
adaptive learning, mathematics, intelligent tutoring system, K-12

Context

bettermarks é uma plataforma alemã de matemática adaptativa baseada em IA que gera problemas de prática individualizados e feedback passo a passo com base nos padrões de erro de cada estudante. Na sequência de um estudo-piloto de 2009 do ZNL Transfer Center for Neuroscience and Learning da Universidade de Ulm (34 escolas, um semestre, efeito positivo significativo no desempenho em frações), a plataforma expandiu-se para licenças estaduais em pelo menos 9 dos 16 estados federais alemães, com a empresa a reportar cerca de 500.000 estudantes utilizadores e mais de 500 escolas em agosto de 2025.

Activities

A sua avaliação independente mais rigorosa até à data é um estudo de campo de 2026 revisto por pares, de Schaaf, Rolfes, Nagy e Heinze (Frontiers in Education), que acompanhou 587 estudantes do 8.º-9.º ano em 60 turmas de 25 escolas socioeconomicamente desfavorecidas de Schleswig-Holstein, de um pré-teste (setembro-outubro de 2024) a um pós-teste (fevereiro-março de 2025). Uma avaliação de impacto anterior, de outubro de 2017, de Perera e Aboal (Centro de Investigaciones Económicas, encomendada pelo Plan Ceibal do Uruguai) acompanhou 2.143 estudantes do ensino primário em 237 escolas que usavam a mesma plataforma, localmente designada PAM.

Results

O uso médio do sistema no estudo alemão foi de apenas 9,2 minutos/semana (4,6 na escola, 4,5 em casa). Os ganhos médios de aprendizagem em toda a amostra foram próximos de zero, mas os estudantes que utilizaram o sistema mais do que os colegas durante o horário escolar mostraram um benefício individual pequeno mas estatisticamente significativo (β=,13, p<,01); o uso em casa e os efeitos agregados ao nível da turma não foram significativos. No Uruguai, o estudo anterior encontrou um efeito positivo robusto de 0,20 desvios-padrão nos ganhos de aprendizagem em matemática, com o efeito a aumentar para os estudantes que completaram mais exercícios — um claro padrão de dose-resposta.

Conclusions

Em conjunto, os resultados mostram que o bettermarks pode ajudar — em particular os estudantes que efetivamente o utilizam de forma consistente, sobretudo num contexto escolar estruturado —, mas os efeitos médios e incondicionais são pequenos ou nulos, e o impacto depende fortemente da dosagem e da implementação, e não apenas do software.

Implementation

Indicative cost
Medium (€50k–€500k)
Time to results
Long (> 3 years)
Staffing & skills
ZNL Transfer Center for Neuroscience and Learning, University of Ulm (original pilot research), bettermarks GmbH (platform vendor), 52 teachers involved in the 2009 ZNL pilot

Conditions for success

  • Consistent, sustained in-school usage (dose-response relationship between usage and learning gain)
  • Structured classroom integration rather than unsupervised home use

Common failure modes

  • Average, unconditional effects are small or null without sufficient dosage
  • Home use showed no significant effect
  • No independent data-protection or algorithmic-transparency audit found

Where it fits

Governance type
statewide licensing by German federal state education authorities; commissioned national evaluation in Uruguay (Plan Ceibal)
Scale
multi-state/national, ~500,000 students
Income level
high-income (Germany) and upper-middle-income (Uruguay) deployments

Data sources

Where this practice's information was retrieved from, and when.

Attachments

Similar practices you may find useful