evidoria

← Retour à la liste

Bonne pratique Importée

Letrus, retour d'écriture par IA — Réduire l'écart de notation à l'ENEM dans l'Espírito Santo

Brésil · Vitória · Voir le profil de Brésil

Preuves: Essai contrôlé randomisé Top 7% 73/100 · Demandez à Evidence Copilot à propos de cette pratique

Les écoles publiques de l'Espírito Santo ont utilisé la plateforme d'IA Letrus pour donner un retour rapide aux élèves préparant la dissertation de l'ENEM ; une évaluation randomisée du J-PAL sur environ 19 000 élèves a montré une hausse de 0,09 écart-type des notes, comblant environ 9 % de l'écart public-privé, avec des soumissions en hausse de 28-32 %.

19000 students (approx.)
Élèves dans l'évaluation randomisée
178
Écoles dans l'évaluation
110
Écoles avec accès à Letrus
68
Écoles témoins
0,09 SD (~17 points on a 1,000-point scale)
Gain des notes officielles de rédaction de l'ENEM
9 %
Écart de réussite public-privé comblé
0.14-0.16 SD
Gain de la sous-note de la proposition de politique
28-32 %
Augmentation des soumissions de rédactions
35 %
Augmentation des discussions individuelles de rédactions avec les enseignants
28000
Utilisateurs actifs en Espírito Santo (2024)
100000 users (over)
Total d'utilisateurs depuis 2020
Letrus, retour d'écriture par IA — Réduire l'écart de notation à l'ENEM dans l'Espírito Santo

Détails

Maturité
En expansion
Promoteur
Secretaria de Estado da Educação do Espírito Santo (Sedu), with Letrus, J-PAL and Google.org
Période
2019–present (statewide since 2022)
Mots-clés
AI writing feedback, natural language processing, public education, exam preparation

Contexte

Le Secrétariat d'État à l'Éducation de l'Espírito Santo (Sedu) a expérimenté Letrus, une plateforme d'évaluation automatisée de l'écriture combinant traitement du langage naturel et relecture humaine, pour aider les lycéens de terminale des écoles publiques à se préparer à l'épreuve de rédaction de l'ENEM, l'examen d'entrée à l'université au Brésil.

Objectifs

Les économistes Bruno Ferman, Lycia Lima et Flavio Riva ont évalué le déploiement de 2019 dans le cadre d'une étude randomisée à trois bras portant sur environ 19 000 lycéens de terminale répartis dans 178 écoles publiques, 110 disposant d'un accès à Letrus et 68 écoles témoins.

Activités

Les élèves ont rédigé des essais d'entraînement sur la plateforme et ont reçu un retour rapide, aligné sur le barème, portant sur les cinq compétences officielles de l'ENEM, des correcteurs humains affinant le retour sémantique de l'IA dans un sous-ensemble d'écoles.

Résultats

Les notes officielles de rédaction de l'ENEM ont augmenté d'environ 0,09 écart-type (environ 17 points sur une échelle de 1 000 points), comblant environ 9 % de l'écart de réussite public-privé du Brésil dans la composante rédaction ; la sous-note de la proposition de politique a augmenté de 0,14 à 0,16 écart-type, les soumissions d'essais ont augmenté de 28 à 32 %, et les élèves ont discuté environ 35 % de rédactions supplémentaires individuellement avec leurs enseignants, les versions IA seule et IA plus relecture humaine produisant des gains de notes similaires.

Conclusions

Après ce projet pilote, l'Espírito Santo a déployé Letrus à l'échelle de l'État en 2022, et le programme a depuis été adopté par les services de l'éducation du Mato Grosso do Sul, d'Alagoas, de Paraíba, du Pará, du Mato Grosso, de Goiás et du Ceará, l'USAID Development Innovation Ventures finançant une évaluation de suivi 2024-2026, avec environ 28 000 utilisateurs actifs rien que dans l'Espírito Santo en 2024.

Mise en œuvre
Coût indicatif
Moyen (50 k€–500 k€)
Délai jusqu’aux résultats
Long (> 3 ans)
Personnel et compétences
Delivered jointly by Espírito Santo's State Department of Education (Sedu), the Letrus platform team, J-PAL researchers and Google.org, with human correctors reviewing AI feedback in a subset of schools.

Conditions de réussite

  • A human-review layer refining the AI's semantic feedback in some schools produced similar gains to the AI-only version.
  • Teachers redirected time from routine error-flagging to individualized coaching once the AI handled routine feedback.
  • External funding (Google.org, later USAID DIV) supported evaluation and scale-up.

Kit de réplication

Artefacts réutilisables de cette pratique — tels que publiés par leurs sources.

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles