evidoria

← Retour à la liste

Bonne pratique Importée

Mind Tutor — Un essai contrôlé randomisé britannique bien dimensionné ne trouve aucun bénéfice sur le bien-être d'une application chatbot dotée d'IA

Royaume-Uni · Oxford · Voir le profil de Royaume-Uni · Voir le profil de Oxford

Preuves: Essai contrôlé randomisé Top 89% 27/100 · Demandez à Evidence Copilot à propos de cette pratique

Deux essais randomisés britanniques suffisamment puissants (N=177, N=240) ont testé une application chatbot IA censée améliorer le bien-être des étudiants de 1re année. Aucun n'a trouvé d'effet significatif, et chaque étudiant n'a utilisé l'appli que deux fois en moyenne.

177 students
Taille de l'échantillon de l'essai 1 (6-week follow-up)
240 students
Taille de l'échantillon de l'essai 2 (8-week follow-up)
2 interactions
Interactions moyennes avec l'application par étudiant
80 students
Étudiants du groupe intervention avec des données d'engagement exploitables (sous-étude d'acceptabilité)
125 students
Étudiants du groupe contrôle avec des données d'engagement exploitables (sous-étude d'acceptabilité)
Mind Tutor — Un essai contrôlé randomisé britannique bien dimensionné ne trouve aucun bénéfice sur le bien-être d'une application chatbot dotée d'IA

Détails

Maturité
Pilote
Promoteur
Oxford Brookes University, London Metropolitan University, University of Birmingham, Syndeo Ltd
Période
2021-2025 (RCT published 2023; development/acceptability paper published 2025)
Mots-clés
higher education, student wellbeing, mental health, AI chatbot, randomised controlled trial

Contexte

Mind Tutor est une application de bien-être renforcée par un chatbot IA, conçue pour les étudiants de première année, développée par une équipe de l'Oxford Brookes University, de la London Metropolitan University et de l'University of Birmingham, en collaboration avec le développeur d'applications Syndeo Ltd. Le chatbot oriente les étudiants vers des contenus de bien-être portant sur l'anxiété, la baisse de moral, la transition vers l'université et les relations.

Objectifs

L'équipe de recherche s'est fixé pour objectif de tester si l'application, renforcée par un chatbot IA, pouvait améliorer le bien-être des étudiants de première année, au moyen de deux essais contrôlés randomisés adéquatement dimensionnés et préenregistrés, menés dans deux universités britanniques.

Activités

L'essai 1 a recruté 177 étudiants (92 dans le groupe intervention, 85 dans le groupe contrôle, avec un suivi de 6 semaines), et l'essai 2 a recruté 240 étudiants (125 par groupe, avec un suivi de 8 semaines). Les tailles d'échantillon étaient suffisamment grandes pour détecter même de petits effets à un seuil d'erreur de 5 %, si bien qu'une erreur de type II est peu susceptible d'expliquer les résultats. L'essai a été préenregistré sur le Social Science Registry.

Résultats

Aucun des deux essais n'a trouvé d'effet significatif de Mind Tutor sur le bien-être des étudiants. L'engagement était également faible : dans les deux essais, chaque étudiant participant a interagi avec l'application en moyenne seulement deux fois, et seuls 80 des étudiants initialement dans le groupe intervention de la sous-étude d'acceptabilité ont fourni des données d'engagement exploitables, contre 125 dans le groupe contrôle.

Conclusions

L'équipe de recherche a publié ouvertement à la fois le résultat d'efficacité nul et les données décevantes d'engagement dans des revues à comité de lecture — un cas véritablement fondé sur les données probantes et un avertissement sur la facilité avec laquelle un outil de bien-être par IA bien conçu peut ne produire aucun effet une fois testé de façon rigoureuse.

Mise en œuvre
Coût indicatif
Moyen (50 k€–500 k€) — Multi-institution academic RCT plus a commercial app-development partner (Syndeo Ltd); no public budget figure found in the sources reviewed.
Délai jusqu’aux résultats
Long (> 3 ans) — Development and trials spanning 2021-2025: efficacy RCT published 2023, development/acceptability paper published 2025.
Personnel et compétences
Research team: Oxford Brookes University, London Metropolitan University, University of Birmingham, App developer: Syndeo Ltd

Conditions de réussite

  • Adequately powered, pre-registered trial design (Social Science Registry) able to detect small effect sizes
  • Open publication of both efficacy and engagement/acceptability results in peer-reviewed journals

Modes d’échec courants

  • Very low real-world engagement — an average of only two app interactions per student — likely undermined any chance of a wellbeing effect
  • Neither adequately powered RCT found a significant wellbeing benefit
  • High attrition in the acceptability sub-study engagement data (only 80 of the original intervention-arm students provided usable data)

Où cela s’applique

Type de gouvernance
university research consortium with a private app developer
Échelle
two UK university sites
Niveau de revenu
high-income

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles