evidoria

← Back to browse

Good practice

bettermarks — La Eficacia Real de la Plataforma de Matemáticas Adaptativa por IA en los Sistemas Escolares de los Estados Alemanes

Germany · Berlin · See the Germany profile

La plataforma alemana bettermarks — en 9 de los 16 estados, unos 500.000 estudiantes — tuvo en 2026 su prueba independiente más rigurosa: un estudio con 587 alumnos de escuelas desfavorecidas halló ganancias reales pero dependientes del uso, impacto medio casi nulo.

587 students, 60 classes, 25 schools
Muestra del estudio de campo alemán (Sept 2024 - Mar 2025)
9.2 minutes/week
Uso semanal medio del sistema (Alemania)
β=.13 (p<.01)
Efecto individual del uso en la escuela
2,143 students, 237 schools
Muestra del estudio de Uruguay (PAM) (study published Oct 2017)
0.20 standard deviations
Efecto en la ganancia de aprendizaje en Uruguay (PAM)
~500,000 students, 500+ schools, 9 of 16 German federal states
Escala de implementación de la plataforma (as of August 2025)
bettermarks — La Eficacia Real de la Plataforma de Matemáticas Adaptativa por IA en los Sistemas Escolares de los Estados Alemanes

Details

Maturity
Established
Promoter
bettermarks GmbH
Period
2009 pilot – ongoing; cited field study Sept 2024 – Mar 2025
Keywords
adaptive learning, mathematics, intelligent tutoring system, K-12

Context

bettermarks es una plataforma alemana de matemáticas adaptativa basada en IA que genera problemas de práctica individualizados y retroalimentación paso a paso según los patrones de error de cada estudiante. Tras un estudio piloto de 2009 del ZNL Transfer Center for Neuroscience and Learning de la Universidad de Ulm (34 escuelas, un semestre, efecto positivo significativo en el rendimiento en fracciones), la plataforma se expandió a licencias estatales en al menos 9 de los 16 estados federados alemanes, con la empresa reportando alrededor de 500.000 estudiantes usuarios y más de 500 escuelas a agosto de 2025.

Activities

Su evaluación independiente más rigurosa hasta la fecha es un estudio de campo revisado por pares de 2026, de Schaaf, Rolfes, Nagy y Heinze (Frontiers in Education), que siguió a 587 estudiantes de 8.º-9.º grado en 60 clases de 25 escuelas socioeconómicamente desfavorecidas de Schleswig-Holstein, desde una prueba previa (septiembre-octubre de 2024) hasta una prueba posterior (febrero-marzo de 2025). Una evaluación de impacto anterior, de octubre de 2017, de Perera y Aboal (Centro de Investigaciones Económicas, encargada por el Plan Ceibal de Uruguay) siguió a 2.143 estudiantes de primaria en 237 escuelas que usaban la misma plataforma, denominada localmente PAM.

Results

El uso medio del sistema en el estudio alemán fue de solo 9,2 minutos/semana (4,6 en la escuela, 4,5 en casa). Las ganancias de aprendizaje medias en toda la muestra fueron cercanas a cero, pero los estudiantes que usaron el sistema más que sus compañeros durante el horario escolar mostraron un beneficio individual pequeño pero estadísticamente significativo (β=,13, p<,01); el uso en casa y los efectos agregados a nivel de clase no fueron significativos. En Uruguay, el estudio anterior encontró un efecto positivo robusto de 0,20 desviaciones estándar en las ganancias de aprendizaje en matemáticas, con el efecto aumentando en los estudiantes que completaron más ejercicios, un claro patrón de dosis-respuesta.

Conclusions

En conjunto, los resultados muestran que bettermarks puede ayudar, en particular a los estudiantes que realmente lo usan de forma constante, sobre todo en un entorno escolar estructurado, pero los efectos medios e incondicionales son pequeños o nulos, y el impacto depende en gran medida de la dosis y la implementación, no solo del software.

Implementation

Indicative cost
Medium (€50k–€500k)
Time to results
Long (> 3 years)
Staffing & skills
ZNL Transfer Center for Neuroscience and Learning, University of Ulm (original pilot research), bettermarks GmbH (platform vendor), 52 teachers involved in the 2009 ZNL pilot

Conditions for success

  • Consistent, sustained in-school usage (dose-response relationship between usage and learning gain)
  • Structured classroom integration rather than unsupervised home use

Common failure modes

  • Average, unconditional effects are small or null without sufficient dosage
  • Home use showed no significant effect
  • No independent data-protection or algorithmic-transparency audit found

Where it fits

Governance type
statewide licensing by German federal state education authorities; commissioned national evaluation in Uruguay (Plan Ceibal)
Scale
multi-state/national, ~500,000 students
Income level
high-income (Germany) and upper-middle-income (Uruguay) deployments

Data sources

Where this practice's information was retrieved from, and when.

Attachments

Similar practices you may find useful