evidoria

← Voltar à navegação

Boa prática Importada

Falha de IA na correção do MCAS atribui notas erradas a 1.400 redações de alunos no Massachusetts — um caso de alerta na avaliação automatizada

Estados Unidos da América · Malden · Ver o perfil de Estados Unidos da América

Evidência: Observacional / pré-pós Top 89% 27/100 · Pergunte a Evidence Copilot sobre esta prática

Uma falha temporária no sistema de correção por IA levou a que cerca de 1.400 das 750.000 redações do exame estadual MCAS fossem mal avaliadas em cerca de 145 a 200 distritos escolares do Massachusetts em 2025, incluindo redações classificadas erradamente com '0' quando deveriam ter até 6 pontos; o alerta de uma professora desencadeou uma reavaliação completa.

1,400 essays (approx.)
Ensaios do MCAS mal classificados pela ferramenta de IA (2025 administration)
750,000 essays
Total de ensaios do MCAS classificados (denominador) (2025 administration)
close to 200 schools
Escolas afetadas (2025)
roughly 145 districts
Distritos afetados (2025)
10 % (approx.)
Percentagem de ensaios classificados por IA normalmente reverificados por leitores humanos
Falha de IA na correção do MCAS atribui notas erradas a 1.400 redações de alunos no Massachusetts — um caso de alerta na avaliação automatizada

Detalhes

Maturidade
Consolidada
Promotor
Massachusetts Department of Elementary and Secondary Education (DESE)
Período
2025 (error discovered July 2025, corrected August 2025)
Palavras-chave
K-12 education, standardized testing, assessment technology

Contexto

Durante a aplicação de 2025 do Massachusetts Comprehensive Assessment System (MCAS), uma ferramenta automatizada de classificação por IA — utilizada para classificar perguntas de resposta aberta em ensaios, com cerca de 10% dos ensaios classificados por IA normalmente reverificados por leitores humanos — produziu uma falha temporária de classificação. Uma professora da Reilly Elementary School, em Lowell, notou uma discrepância entre o ensaio de um aluno e a sua pontuação atribuída, e alertou os responsáveis escolares e distritais em meados de julho de 2025.

Resultados

O Massachusetts Department of Elementary and Secondary Education (DESE) verificou posteriormente que cerca de 1.400 dos 750.000 ensaios do MCAS do estado tinham sido mal classificados, com algumas respostas de alunos incorretamente marcadas com ‘0’ quando deveriam ter obtido até 6 numa escala de 1 a 7. Distritos em todo o estado foram afetados, incluindo Attleboro, Fall River, New Bedford e Taunton, no Condado de Bristol; o DESE informou que quase 200 escolas em cerca de 145 distritos foram afetadas pelo erro, embora o impacto médio tenha sido de apenas um ou dois alunos mal classificados por distrito afetado. Todos os ensaios sinalizados foram reclassificados e todos os distritos afetados foram notificados, com resultados corrigidos emitidos até agosto de 2025.

Conclusões

Trata-se de uma falha documentada, não de uma história de sucesso: uma ferramenta de classificação por IA a operar à escala total do estado classificou incorretamente trabalhos de alunos, e o erro foi detetado pela vigilância de uma professora, não pelo sistema de IA nem pelo seu próprio processo de garantia de qualidade — sendo que apenas cerca de 10% dos ensaios recebem normalmente reclassificação humana de rotina. O caso é aqui incluído como exemplo de precaução: mostra tanto o risco da avaliação automatizada à escala estadual como o valor da supervisão humana, e ilustra uma resposta pós-incidente comparativamente transparente por parte da agência estadual de educação, o que não compensa o facto de o erro subjacente e a rede de segurança fina de revisão humana terem sido a causa raiz.

Implementação

Custo indicativo
Elevado (500 mil €–5 M€)
Tempo até resultados
Curto (< 1 ano)
Equipa e competências
Massachusetts Department of Elementary and Secondary Education (DESE), a classroom teacher at Reilly Elementary School, Lowell, who identified the discrepancy, affected districts, including Attleboro, Fall River, New Bedford and Taunton

Condições de sucesso

  • DESE's transparent post-incident response: confirmed scope publicly, notified every affected district, and issued corrected results within about a month

Modos de falha comuns

  • the AI scoring tool mis-scored roughly 1,400 of 750,000 essays, with some responses wrongly marked '0' when they should have scored as high as 6 on a 1-to-7 scale
  • the error was caught by a classroom teacher noticing a discrepancy, not by the AI system or its own quality-assurance process
  • only about 10% of AI-scored essays are routinely re-checked by human readers, leaving a significant blind spot for errors of this kind
  • the statewide scale of the deployment meant a single scoring glitch propagated across close to 200 schools in roughly 145 districts before being caught

Onde se enquadra

Tipo de governação
US state education agency
Escala
statewide standardized testing (Massachusetts)
Nível de rendimento
high-income country (United States)

Habitualmente financiado por

National / regional programmes

Vias de financiamento indicativas para práticas deste tipo — verifique sempre os avisos abertos e as regras de elegibilidade de cada programa.

Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.

Fontes de dados

De onde foi obtida a informação desta prática, e quando.

Anexos

Práticas semelhantes que podem ser úteis