evidoria

← Voltar à navegação

Boa prática Importada

Mind Tutor — Um Ensaio Aleatorizado Britânico Bem Dimensionado Não Encontra Benefícios para o Bem-Estar de uma App de Chatbot com IA

Reino Unido · Oxford · Ver o perfil de Reino Unido · Ver o perfil de Oxford

Evidência: Ensaio controlado aleatorizado Top 89% 27/100 · Pergunte a Evidence Copilot sobre esta prática

Dois ensaios aleatorizados no Reino Unido, com poder estatístico adequado (N=177, N=240), testaram uma app de chatbot com IA para o bem-estar de estudantes do 1.º ano. Nenhum encontrou efeito significativo, e cada estudante usou a app, em média, só duas vezes.

177 students
Dimensão da amostra do Ensaio 1 (6-week follow-up)
240 students
Dimensão da amostra do Ensaio 2 (8-week follow-up)
2 interactions
Interações médias com a aplicação por estudante
80 students
Estudantes do grupo de intervenção com dados de envolvimento utilizáveis (subestudo de aceitabilidade)
125 students
Estudantes do grupo de controlo com dados de envolvimento utilizáveis (subestudo de aceitabilidade)
Mind Tutor — Um Ensaio Aleatorizado Britânico Bem Dimensionado Não Encontra Benefícios para o Bem-Estar de uma App de Chatbot com IA

Detalhes

Maturidade
Piloto
Promotor
Oxford Brookes University, London Metropolitan University, University of Birmingham, Syndeo Ltd
Período
2021-2025 (RCT published 2023; development/acceptability paper published 2025)
Palavras-chave
higher education, student wellbeing, mental health, AI chatbot, randomised controlled trial

Contexto

O Mind Tutor é uma aplicação de bem-estar potenciada por chatbot de IA, criada para estudantes universitários do primeiro ano, desenvolvida por uma equipa da Oxford Brookes University, da London Metropolitan University e da University of Birmingham, em conjunto com a empresa de desenvolvimento de aplicações Syndeo Ltd. O chatbot orienta os estudantes para conteúdos de bem-estar relacionados com ansiedade, humor deprimido, a transição para a universidade e relacionamentos.

Objetivos

A equipa de investigação propôs-se testar se a aplicação, potenciada por chatbot de IA, poderia melhorar o bem-estar dos estudantes do primeiro ano, através de dois ensaios controlados e aleatorizados adequadamente dimensionados e pré-registados, realizados em duas universidades do Reino Unido.

Atividades

O Ensaio 1 inscreveu 177 estudantes (92 no grupo de intervenção, 85 no grupo de controlo, com seguimento de 6 semanas), e o Ensaio 2 inscreveu 240 estudantes (125 por grupo, com seguimento de 8 semanas). As dimensões das amostras eram suficientemente grandes para detetar mesmo efeitos pequenos com uma taxa de erro de 5%, pelo que é improvável que um erro de tipo II explique os resultados. O ensaio foi registado antecipadamente no Social Science Registry.

Resultados

Nenhum dos dois ensaios encontrou um efeito significativo do Mind Tutor no bem-estar dos estudantes. O envolvimento foi também baixo: em ambos os ensaios, cada estudante participante interagiu com a aplicação, em média, apenas duas vezes, e apenas 80 dos estudantes originalmente no grupo de intervenção do subestudo de aceitabilidade forneceram dados de envolvimento utilizáveis, contra 125 no grupo de controlo.

Conclusões

A equipa de investigação publicou abertamente tanto o resultado nulo de eficácia como os dados dececionantes de envolvimento em revistas revistas por pares — um caso genuinamente orientado pela evidência e cautelar sobre a facilidade com que uma ferramenta de bem-estar por IA bem concebida pode não produzir efeitos nos resultados quando testada com rigor.

Implementação
Custo indicativo
Médio (50 mil–500 mil €) — Multi-institution academic RCT plus a commercial app-development partner (Syndeo Ltd); no public budget figure found in the sources reviewed.
Tempo até resultados
Longo (> 3 anos) — Development and trials spanning 2021-2025: efficacy RCT published 2023, development/acceptability paper published 2025.
Equipa e competências
Research team: Oxford Brookes University, London Metropolitan University, University of Birmingham, App developer: Syndeo Ltd

Condições de sucesso

  • Adequately powered, pre-registered trial design (Social Science Registry) able to detect small effect sizes
  • Open publication of both efficacy and engagement/acceptability results in peer-reviewed journals

Modos de falha comuns

  • Very low real-world engagement — an average of only two app interactions per student — likely undermined any chance of a wellbeing effect
  • Neither adequately powered RCT found a significant wellbeing benefit
  • High attrition in the acceptability sub-study engagement data (only 80 of the original intervention-arm students provided usable data)

Onde se enquadra

Tipo de governação
university research consortium with a private app developer
Escala
two UK university sites
Nível de rendimento
high-income

Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.

Fontes de dados

De onde foi obtida a informação desta prática, e quando.

Anexos

Práticas semelhantes que podem ser úteis