evidoria

← Volver al listado

Buena práctica Importada

Letrus, retroalimentación de escritura con IA — Cerrando la brecha del ENEM en Espírito Santo

Brasil · Vitória · Ver el perfil de Brasil

Evidencia: Ensayo controlado aleatorizado Top 7% 73/100 · Pregunte a Evidence Copilot sobre esta práctica

Las escuelas públicas de Espírito Santo usaron la plataforma de IA Letrus para dar retroalimentación rápida en la redacción del ENEM; una evaluación aleatorizada del J-PAL con ~19.000 estudiantes halló un aumento de 0,09 DE en las notas, cerrando cerca del 9% de la brecha público-privada, con envíos de ensayos aumentando 28-32%.

19000 students (approx.)
Estudiantes en la evaluación aleatorizada
178
Escuelas en la evaluación
110
Escuelas con acceso a Letrus
68
Escuelas de comparación
0,09 SD (~17 points on a 1,000-point scale)
Ganancia en las calificaciones oficiales de redacción del ENEM
9 %
Brecha de rendimiento público-privado cerrada
0.14-0.16 SD
Ganancia en la subnota de la propuesta de intervención
28-32 %
Aumento en los envíos de redacciones
35 %
Aumento en las discusiones individuales de redacciones con profesores
28000
Usuarios activos en Espírito Santo (2024)
100000 users (over)
Total de usuarios desde 2020
Letrus, retroalimentación de escritura con IA — Cerrando la brecha del ENEM en Espírito Santo

Detalles

Madurez
En expansión
Promotor
Secretaria de Estado da Educação do Espírito Santo (Sedu), with Letrus, J-PAL and Google.org
Período
2019–present (statewide since 2022)
Palabras clave
AI writing feedback, natural language processing, public education, exam preparation

Contexto

La Secretaría de Estado de Educación de Espírito Santo (Sedu) puso a prueba Letrus, una plataforma de evaluación automática de la escritura que combina procesamiento de lenguaje natural con revisión humana, para ayudar a los estudiantes de último año de secundaria pública a prepararse para el componente de redacción del ENEM, el examen de acceso a la universidad en Brasil.

Objetivos

Los economistas Bruno Ferman, Lycia Lima y Flavio Riva evaluaron la implementación de 2019 mediante un estudio aleatorizado de tres brazos que abarcó a unos 19.000 estudiantes de último año en 178 escuelas públicas, 110 con acceso a Letrus y 68 escuelas de comparación.

Actividades

Los estudiantes escribieron ensayos de práctica en la plataforma y recibieron retroalimentación rápida, alineada con la rúbrica, en las cinco competencias oficiales del ENEM, con correctores humanos que refinaban la retroalimentación semántica de la IA en un subconjunto de escuelas.

Resultados

Las calificaciones oficiales de redacción del ENEM aumentaron unos 0,09 desviaciones estándar (aproximadamente 17 puntos en una escala de 1.000 puntos), cerrando una estimación del 9% de la brecha de rendimiento público-privado de Brasil en el componente de redacción; la subnota de la propuesta de intervención subió 0,14-0,16 DE, los envíos de redacciones aumentaron 28-32%, y los estudiantes discutieron alrededor de un 35% más de redacciones individualmente con sus profesores, con las versiones solo-IA y IA-más-revisión-humana produciendo ganancias de puntuación similares.

Conclusiones

Tras el proyecto piloto, Espírito Santo desplegó Letrus a nivel estatal en 2022, y desde entonces el programa ha sido adoptado por las secretarías de educación de Mato Grosso do Sul, Alagoas, Paraíba, Pará, Mato Grosso, Goiás y Ceará, con USAID Development Innovation Ventures financiando una evaluación de seguimiento 2024-2026, y unos 28.000 usuarios activos solo en Espírito Santo en 2024.

Implementación
Coste indicativo
Medio (50 000–500 000 €)
Tiempo hasta resultados
Largo (> 3 años)
Personal y competencias
Delivered jointly by Espírito Santo's State Department of Education (Sedu), the Letrus platform team, J-PAL researchers and Google.org, with human correctors reviewing AI feedback in a subset of schools.

Condiciones para el éxito

  • A human-review layer refining the AI's semantic feedback in some schools produced similar gains to the AI-only version.
  • Teachers redirected time from routine error-flagging to individualized coaching once the AI handled routine feedback.
  • External funding (Google.org, later USAID DIV) supported evaluation and scale-up.

Kit de replicación

Artefactos reutilizables de esta práctica — tal como los publican sus fuentes.

¿Usted implementa esta práctica? Reivindíquela — los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.

Fuentes de datos

De dónde se obtuvo la información de esta práctica, y cuándo.

Adjuntos

Prácticas similares que pueden serle útiles