evidoria

← Voltar à navegação

Boa prática Importada

Feedback de Escrita com IA da Letrus — Reduzindo o Hiato na Redação do ENEM no Espírito Santo

Brasil · Vitória · Ver o perfil de Brasil

Evidência: Ensaio controlado aleatorizado Top 7% 73/100 · Pergunte a Evidence Copilot sobre esta prática

Escolas públicas do Espírito Santo usaram a plataforma de IA Letrus para dar feedback rápido aos estudantes na redação do ENEM; uma avaliação randomizada do J-PAL com ~19.000 alunos encontrou aumento de 0,09 DP nas notas, fechando cerca de 9% do hiato entre escolas públicas e privadas, com envios de redações subindo 28-32%.

19000 students (approx.)
Alunos na avaliação aleatorizada
178
Escolas na avaliação
110
Escolas com acesso à Letrus
68
Escolas de comparação
0,09 SD (~17 points on a 1,000-point scale)
Ganho nas classificações oficiais de redação do ENEM
9 %
Fosso de desempenho público-privado fechado
0.14-0.16 SD
Ganho na subnota da proposta de intervenção
28-32 %
Aumento nas submissões de redações
35 %
Aumento nas discussões individuais de redações com professores
28000
Utilizadores ativos no Espírito Santo (2024)
100000 users (over)
Total de utilizadores desde 2020
Feedback de Escrita com IA da Letrus — Reduzindo o Hiato na Redação do ENEM no Espírito Santo

Detalhes

Maturidade
Em expansão
Promotor
Secretaria de Estado da Educação do Espírito Santo (Sedu), with Letrus, J-PAL and Google.org
Período
2019–present (statewide since 2022)
Palavras-chave
AI writing feedback, natural language processing, public education, exam preparation

Contexto

A Secretaria de Estado da Educação do Espírito Santo (Sedu) pôs à prova a Letrus, uma plataforma de avaliação automática da escrita que combina processamento de linguagem natural com revisão humana, para ajudar alunos finalistas do ensino público a prepararem-se para a componente de redação do ENEM, o exame de acesso ao ensino superior no Brasil.

Objetivos

Os economistas Bruno Ferman, Lycia Lima e Flavio Riva avaliaram a implementação de 2019 através de um estudo aleatorizado com três braços, abrangendo cerca de 19.000 alunos finalistas em 178 escolas públicas, 110 com acesso à Letrus e 68 escolas de comparação.

Atividades

Os alunos escreveram redações de treino na plataforma e receberam feedback rápido, alinhado com a grelha de avaliação, nas cinco competências oficiais do ENEM, com corretores humanos a refinar o feedback semântico da IA num subconjunto de escolas.

Resultados

As classificações oficiais de redação do ENEM subiram cerca de 0,09 desvios-padrão (aproximadamente 17 pontos na escala de 1.000 pontos), fechando uma estimativa de 9% do fosso de desempenho entre escolas públicas e privadas no Brasil na componente de redação; a subnota da proposta de intervenção subiu 0,14-0,16 desvios-padrão, as submissões de redações aumentaram 28-32%, e os alunos discutiram cerca de 35% mais redações individualmente com os professores, com versões apenas com IA e com IA mais revisão humana a produzirem ganhos de pontuação semelhantes.

Conclusões

Após o projeto-piloto, o Espírito Santo alargou a Letrus a todo o estado em 2022, e desde então o programa foi adotado pelas secretarias de educação de Mato Grosso do Sul, Alagoas, Paraíba, Pará, Mato Grosso, Goiás e Ceará, com a USAID Development Innovation Ventures a financiar uma avaliação de seguimento de 2024-2026, e cerca de 28.000 utilizadores ativos apenas no Espírito Santo em 2024.

Implementação
Custo indicativo
Médio (50 mil–500 mil €)
Tempo até resultados
Longo (> 3 anos)
Equipa e competências
Delivered jointly by Espírito Santo's State Department of Education (Sedu), the Letrus platform team, J-PAL researchers and Google.org, with human correctors reviewing AI feedback in a subset of schools.

Condições de sucesso

  • A human-review layer refining the AI's semantic feedback in some schools produced similar gains to the AI-only version.
  • Teachers redirected time from routine error-flagging to individualized coaching once the AI handled routine feedback.
  • External funding (Google.org, later USAID DIV) supported evaluation and scale-up.

Kit de replicação

Artefactos reutilizáveis desta prática — tal como publicados pelas suas fontes.

Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.

Fontes de dados

De onde foi obtida a informação desta prática, e quando.

Anexos

Práticas semelhantes que podem ser úteis