Avaliação por Reconhecimento de Voz com IA da Fluência de Leitura Oral em isiXhosa

As Avaliações de Leitura do Início da Escolaridade (EGRA, na sigla em inglês) — testes orais individuais que assinalam quais as crianças que estão a ficar para trás — são o instrumento padrão para medir a literacia em países de rendimento baixo e médio, mas a sua aplicação exige avaliadores humanos treinados e raramente é feita em línguas africanas fora das poucas já suportadas por reconhecimento de voz. Uma equipa de investigação liderada pela Universidade da Cidade do Cabo, com a Universidade de Pretória, a Western Sydney University, a Universidade Federal de Pernambuco e a Macquarie University, propôs-se automatizar a pontuação da EGRA para o isiXhosa, uma das línguas oficiais da África do Sul.
Ao longo de um esforço de recolha de dados de 8 meses, a equipa reuniu 14.971 gravações EGRA (mais de 19 horas de fala infantil) de alunos do 1.º ao 4.º ano em escolas sul-africanas, com apoio de uma bolsa Grand Challenges da Fundação Gates. Três avaliadores humanos independentes validaram primeiro a abordagem de pontuação face a um especialista em EGRA, alcançando 85% de concordância; os modelos de reconhecimento de voz afinados foram depois comparados com esses dados anotados por humanos, atingindo cerca de 91% de eficiência diagnóstica.
A avaliação publicada é invulgarmente franca quanto às limitações: os autores referem que nenhuma configuração de modelo minimizou simultaneamente as taxas de falsos positivos e falsos negativos, o que significa que qualquer implementação inicial trocaria um tipo de classificação incorreta por outro. O trabalho mantém-se uma validação em fase de investigação, e não um sistema de avaliação nacional em funcionamento.