evidoria

← Voltar à navegação

Boa prática Importada

Classificação automática de ensaios STAAR no Texas — a TEA passa todas as respostas escritas por um motor de PLN, com 25% reavaliadas por humanos

Estados Unidos da América · Austin · Ver o perfil de Estados Unidos da América · Ver o perfil de Austin

Top 80% 33/100 · Pergunte a Evidence Copilot sobre esta prática

Desde a primavera de 2024, a Texas Education Agency classifica as respostas abertas do STAAR com um motor de PLN e reavalia cerca de 25% manualmente, poupando 15–20 M$ por ano. O aumento de zeros e as dúvidas de equidade fazem dele um caso de cautela.

Classificação automática de ensaios STAAR no Texas — a TEA passa todas as respostas escritas por um motor de PLN, com 25% reavaliadas por humanos

Detalhes

Promotor
Texas Education Agency (TEA)
Período
2023–2025
Palavras-chave
K-12 assessment, automated scoring, natural language processing, state testing

Descrição

A Texas Education Agency começou a usar um motor de classificação automática em dezembro de 2023, de forma limitada, e aplicou-o às perguntas de resposta construída (abertas) do teste STAAR em leitura, escrita, ciências e estudos sociais a partir da primavera de 2024. O motor usa processamento de linguagem natural: os computadores classificam primeiro todas as respostas e cerca de 25% são depois reavaliadas por humanos. As respostas sobre as quais o motor tem pouca confiança, ou com conteúdo desconhecido (gíria, texto noutra língua), são encaminhadas automaticamente para classificadores humanos; os administradores do teste revêem os resultados diariamente e enviam amostras aleatórias para verificação humana.
A TEA indicou poupanças anuais de 15–20 milhões de dólares; o número de classificadores temporários desceu de cerca de 6000 em 2023 para menos de 2000 em 2024. As famílias podem pedir reavaliação por 50 dólares, valor dispensado se a nota subir.
A implementação é contestada. Notícias sobre o exame de English II de outono de 2023 apontaram que quase 80% das respostas escritas receberam zero, contra cerca de 25% na primavera de 2023, quando classificaram humanos. A TEA atribuiu a diferença à variação sazonal dos examinandos (mais repetentes no outono), enquanto superintendentes e professores questionaram se o motor valoriza a originalidade e trata com justiça a escrita criativa; a imprensa sobre o teste redesenhado notou ainda que os alunos negros tinham a maior percentagem de zeros. A evidência é descritiva e sobretudo comunicada pela própria agência; as fontes citadas não mencionam auditoria independente da precisão ou do enviesamento do motor, razão pela qual o caso tem pontuação baixa em equidade e transparência, apesar da escala e do efeito nos custos.

Implementação

Os detalhes de implementação (custo, prazo, equipa, condições de sucesso) ainda não estão disponíveis para esta prática.

Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.

Fontes de dados

De onde foi obtida a informação desta prática, e quando.

Anexos

Práticas semelhantes que podem ser úteis