evidoria

← Retour à la liste

Bonne pratique Importée

Un bug de l'IA de correction du MCAS fausse la notation de 1 400 rédactions d'élèves dans le Massachusetts — une mise en garde sur l'évaluation automatisée

États-Unis d'Amérique · Malden · Voir le profil de États-Unis d'Amérique

Preuves: Observationnel / avant-après Top 89% 27/100 · Demandez à Evidence Copilot à propos de cette pratique

Un bug temporaire du système de notation par IA a entraîné une mauvaise notation d'environ 1 400 des 750 000 rédactions de l'examen MCAS dans quelque 145 à 200 districts scolaires du Massachusetts en 2025, dont des copies notées à tort « 0 » alors qu'elles auraient dû obtenir jusqu'à 6 points ; le signalement d'une enseignante a déclenché une renotation complète.

1,400 essays (approx.)
Copies du MCAS mal notées par l'outil de notation par IA (2025 administration)
750,000 essays
Total des copies du MCAS notées (dénominateur) (2025 administration)
close to 200 schools
Écoles touchées (2025)
roughly 145 districts
Districts touchés (2025)
10 % (approx.)
Part des copies notées par IA normalement recontrôlées par des correcteurs humains
Un bug de l'IA de correction du MCAS fausse la notation de 1 400 rédactions d'élèves dans le Massachusetts — une mise en garde sur l'évaluation automatisée

Détails

Maturité
Établie
Promoteur
Massachusetts Department of Elementary and Secondary Education (DESE)
Période
2025 (error discovered July 2025, corrected August 2025)
Mots-clés
K-12 education, standardized testing, assessment technology

Contexte

Lors de la session 2025 du Massachusetts Comprehensive Assessment System (MCAS), un outil de notation automatisé par IA — utilisé pour noter les questions à réponse libre de type dissertation, avec environ 10 % des copies notées par IA normalement recontrôlées par des correcteurs humains — a produit un dysfonctionnement temporaire de notation. Une enseignante de l'école primaire Reilly, à Lowell, a remarqué un écart entre la copie d'un élève et la note attribuée, et a alerté les responsables scolaires et du district à la mi-juillet 2025.

Résultats

Le Massachusetts Department of Elementary and Secondary Education (DESE) a ensuite constaté qu'environ 1 400 des 750 000 copies du MCAS de l'État avaient été mal notées, certaines réponses d'élèves ayant été marquées à tort « 0 » alors qu'elles auraient dû obtenir jusqu'à 6 sur une échelle de 1 à 7. Des districts à travers l'État ont été touchés, notamment Attleboro, Fall River, New Bedford et Taunton dans le comté de Bristol ; le DESE a rapporté que près de 200 écoles réparties dans environ 145 districts avaient été touchées par l'erreur, bien que l'impact moyen n'ait été que d'un ou deux élèves mal notés par district touché. Toutes les copies signalées ont été renotées et chaque district touché a été informé, avec des résultats corrigés publiés d'ici août 2025.

Conclusions

Il s'agit d'un échec documenté, non d'une réussite : un outil de notation par IA fonctionnant à l'échelle complète de l'État a mal noté le travail d'élèves, et l'erreur a été repérée grâce à la vigilance d'une enseignante, et non par le système d'IA lui-même ni par son propre processus d'assurance qualité — seuls environ 10 % des copies faisant par ailleurs l'objet d'une renotation humaine de routine. Ce cas est inclus ici comme exemple de mise en garde : il montre à la fois le risque de l'évaluation automatisée à l'échelle d'un État et la valeur de la supervision humaine, et illustre une réponse post-incident relativement transparente de la part de l'agence étatique de l'éducation, ce qui ne compense pas le fait que l'erreur sous-jacente et le filet de sécurité ténu de la relecture humaine en étaient la cause profonde.

Mise en œuvre

Coût indicatif
Élevé (500 k€–5 M€)
Délai jusqu’aux résultats
Court (< 1 an)
Personnel et compétences
Massachusetts Department of Elementary and Secondary Education (DESE), a classroom teacher at Reilly Elementary School, Lowell, who identified the discrepancy, affected districts, including Attleboro, Fall River, New Bedford and Taunton

Conditions de réussite

  • DESE's transparent post-incident response: confirmed scope publicly, notified every affected district, and issued corrected results within about a month

Modes d’échec courants

  • the AI scoring tool mis-scored roughly 1,400 of 750,000 essays, with some responses wrongly marked '0' when they should have scored as high as 6 on a 1-to-7 scale
  • the error was caught by a classroom teacher noticing a discrepancy, not by the AI system or its own quality-assurance process
  • only about 10% of AI-scored essays are routinely re-checked by human readers, leaving a significant blind spot for errors of this kind
  • the statewide scale of the deployment meant a single scoring glitch propagated across close to 200 schools in roughly 145 districts before being caught

Où cela s’applique

Type de gouvernance
US state education agency
Échelle
statewide standardized testing (Massachusetts)
Niveau de revenu
high-income country (United States)

Habituellement financé par

National / regional programmes

Pistes de financement indicatives pour des pratiques de ce type — vérifiez toujours les appels en cours et les règles d'éligibilité de chaque programme.

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles