evidoria

← Voltar à navegação

Boa prática Importada

Classificação Automática de Texto da NZQA — Avaliação por IA da Norma Nacional de Literacia em Escrita da Nova Zelândia

Nova Zelândia · Wellington · Ver o perfil de Nova Zelândia · Ver o perfil de Wellington

Evidência: Observacional / pré-pós Top 56% 47/100 · Pergunte a Evidence Copilot sobre esta prática

A NZQA (Nova Zelândia) treinou um modelo de IA com dezenas de milhares de provas já corrigidas para classificar o exame nacional de escrita do NCEA, atingindo 80% de concordância com os corretores humanos e reduzindo o prazo de resultados em 3,5 semanas para mais de 55 000 alunos em 2025.

80%
Taxa de concordância entre IA e corretores humanos (2024 trial)
36,000
Amostras de escrita no ensaio de 2024
55,000+
Estudantes na implementação nacional de maio de 2025
~20,000 ~40%
Textos ainda verificados por um corretor humano (May 2025)
3.5 weeks
Resposta mais rápida dos resultados (vs. previous year)
Classificação Automática de Texto da NZQA — Avaliação por IA da Norma Nacional de Literacia em Escrita da Nova Zelândia

Detalhes

Maturidade
Consolidada
Promotor
New Zealand Qualifications Authority (NZQA)
Período
2024–present
Palavras-chave
government agency, national qualifications authority, secondary education, assessment

Contexto

A Autoridade de Qualificações da Nova Zelândia (NZQA) construiu uma ferramenta de Pontuação Automática de Texto, treinando um modelo de aprendizagem automática em milhares de textos previamente corrigidos por humanos, para classificar o padrão de literacia de escrita co-requisito do NCEA, uma avaliação nacional de literacia que a maioria dos estudantes do secundário deve passar para obter qualificações NCEA.

Objetivos

Acelerar e escalar a correção fiável de uma avaliação nacional de escrita de elevado risco, mantendo a revisão humana para casos-limite.

Atividades

A IA faz a correção principal; os corretores humanos verificam apenas os textos mais limítrofes, e sempre que as pontuações da IA e do humano discordam, prevalece a nota humana. Um ensaio de 2024 abrangeu 36.000 amostras de escrita antes de a ferramenta ser implementada a nível nacional para o exame de maio de 2025, realizado por mais de 55.000 estudantes; cerca de 20.000 textos (cerca de 40%, concentrados perto da fronteira de aprovação/reprovação) foram ainda verificados por um corretor humano.

Resultados

A NZQA reportou uma taxa de concordância de 80% entre o modelo de IA e os corretores humanos no ensaio de 2024, segundo o diretor-executivo Grant Klinkum. Após a implementação nacional de 2025, as escolas receberam os resultados 3,5 semanas mais cedo do que no ano anterior.

Conclusões

A base de evidências abrange a precisão da correção e o tempo de resposta, não os resultados de aprendizagem diretos dos alunos. A taxa de discordância de 20% observada no ensaio não é negligenciável para um portão de qualificação de elevado risco, razão pela qual a NZQA manteve a revisão humana obrigatória para casos-limite em vez de automatizar totalmente o exame.

Implementação
Custo indicativo
Médio (50 mil–500 mil €) — A government qualifications-authority machine-learning system trained on historical marked scripts; no public budget figure was found, but building and validating an ML marking model at national-exam scale implies meaningful upfront investment.
Tempo até resultados
Médio (1–3 anos) — The 2024 trial (36,000 scripts) preceded the May 2025 national rollout for 55,000+ students, delivering results 3.5 weeks faster than the prior year.
Equipa e competências
New Zealand Qualifications Authority (NZQA) — system ownership and human-marker retention for borderline cases

Condições de sucesso

  • Training the model on thousands of previously human-marked scripts before deployment
  • Retaining mandatory human review for borderline scripts (about 40% of scripts) rather than fully automating
  • Defaulting to the human mark whenever AI and human scores disagree
  • Publicly disclosing trial sample size and agreement rate before national rollout

Modos de falha comuns

  • A 20% disagreement rate between AI and human markers in the 2024 trial is non-trivial for a high-stakes qualification gate
  • Evidence covers grading accuracy and turnaround only, not direct student learning outcomes
  • No published subgroup equity analysis of the AI marking's effects

Habitualmente financiado por

National / regional programmes

Vias de financiamento indicativas para práticas deste tipo — verifique sempre os avisos abertos e as regras de elegibilidade de cada programa.

Implementa esta prática? Reivindique-a — implementadores verificados obtêm um contacto público na página e podem propor correções.

Fontes de dados

De onde foi obtida a informação desta prática, e quando.

Anexos

Práticas semelhantes que podem ser úteis