evidoria

← Volver al listado

Buena práctica Importada

Mind Tutor — Un ensayo controlado aleatorizado británico con potencia estadística adecuada no halla beneficios de bienestar en una aplicación de chatbot con IA

Reino Unido · Oxford · Ver el perfil de Reino Unido · Ver el perfil de Oxford

Evidencia: Ensayo controlado aleatorizado Top 89% 27/100 · Pregunte a Evidence Copilot sobre esta práctica

Dos ensayos aleatorizados británicos con potencia estadística adecuada (N=177, N=240) evaluaron una app de chatbot con IA para el bienestar de estudiantes de primer año. Ninguno halló un efecto significativo, y cada estudiante usó la app, en promedio, solo dos veces.

177 students
Tamaño de muestra del Ensayo 1 (6-week follow-up)
240 students
Tamaño de muestra del Ensayo 2 (8-week follow-up)
2 interactions
Interacciones promedio con la aplicación por estudiante
80 students
Estudiantes del grupo de intervención con datos de participación utilizables (subestudio de aceptabilidad)
125 students
Estudiantes del grupo de control con datos de participación utilizables (subestudio de aceptabilidad)
Mind Tutor — Un ensayo controlado aleatorizado británico con potencia estadística adecuada no halla beneficios de bienestar en una aplicación de chatbot con IA

Detalles

Madurez
Piloto
Promotor
Oxford Brookes University, London Metropolitan University, University of Birmingham, Syndeo Ltd
Período
2021-2025 (RCT published 2023; development/acceptability paper published 2025)
Palabras clave
higher education, student wellbeing, mental health, AI chatbot, randomised controlled trial

Contexto

Mind Tutor es una aplicación de bienestar potenciada por un chatbot de IA, creada para estudiantes universitarios de primer año, desarrollada por un equipo de la Oxford Brookes University, la London Metropolitan University y la University of Birmingham junto con la empresa desarrolladora de aplicaciones Syndeo Ltd. El chatbot guía a los estudiantes hacia contenidos de bienestar relacionados con la ansiedad, el estado de ánimo bajo, la transición a la universidad y las relaciones.

Objetivos

El equipo de investigación se propuso comprobar si la aplicación, potenciada por un chatbot de IA, podía mejorar el bienestar de los estudiantes de primer año, mediante dos ensayos controlados aleatorizados adecuadamente dimensionados y preregistrados, realizados en dos universidades del Reino Unido.

Actividades

El Ensayo 1 incluyó a 177 estudiantes (92 en el grupo de intervención, 85 en el grupo de control, con seguimiento de 6 semanas), y el Ensayo 2 incluyó a 240 estudiantes (125 por grupo, con seguimiento de 8 semanas). Los tamaños de muestra eran lo bastante grandes como para detectar incluso efectos pequeños con una tasa de error del 5%, por lo que es poco probable que un error de tipo II explique los resultados. El ensayo se registró de antemano en el Social Science Registry.

Resultados

Ninguno de los dos ensayos encontró un efecto significativo de Mind Tutor sobre el bienestar de los estudiantes. La participación también fue baja: en ambos ensayos, cada estudiante participante interactuó con la aplicación, en promedio, solo dos veces, y solo 80 de los estudiantes originalmente en el grupo de intervención del subestudio de aceptabilidad proporcionaron datos de participación utilizables, frente a 125 en el grupo de control.

Conclusiones

El equipo de investigación publicó abiertamente tanto el resultado nulo de eficacia como los decepcionantes datos de participación en revistas arbitradas —un caso genuinamente basado en la evidencia y de advertencia sobre lo fácil que puede ser que una herramienta de bienestar con IA bien diseñada no logre modificar los resultados una vez sometida a una prueba rigurosa.

Implementación
Coste indicativo
Medio (50 000–500 000 €) — Multi-institution academic RCT plus a commercial app-development partner (Syndeo Ltd); no public budget figure found in the sources reviewed.
Tiempo hasta resultados
Largo (> 3 años) — Development and trials spanning 2021-2025: efficacy RCT published 2023, development/acceptability paper published 2025.
Personal y competencias
Research team: Oxford Brookes University, London Metropolitan University, University of Birmingham, App developer: Syndeo Ltd

Condiciones para el éxito

  • Adequately powered, pre-registered trial design (Social Science Registry) able to detect small effect sizes
  • Open publication of both efficacy and engagement/acceptability results in peer-reviewed journals

Modos de fallo comunes

  • Very low real-world engagement — an average of only two app interactions per student — likely undermined any chance of a wellbeing effect
  • Neither adequately powered RCT found a significant wellbeing benefit
  • High attrition in the acceptability sub-study engagement data (only 80 of the original intervention-arm students provided usable data)

Dónde encaja

Tipo de gobernanza
university research consortium with a private app developer
Escala
two UK university sites
Nivel de ingresos
high-income

¿Usted implementa esta práctica? Reivindíquela — los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.

Fuentes de datos

De dónde se obtuvo la información de esta práctica, y cuándo.

Adjuntos

Prácticas similares que pueden serle útiles