Avaliação por Reconhecimento de Voz com IA da Fluência de Leitura Oral em isiXhosa

As Avaliações da Leitura nos Primeiros Anos (EGRA) são testes de leitura oral individuais utilizados para identificar as crianças que estão a ficar para trás na literacia, e constituem o instrumento padrão em países de rendimento baixo e médio, mas exigem avaliadores humanos formados e raramente estão disponíveis em línguas africanas além das poucas que já dispõem de suporte de reconhecimento de voz.

Uma equipa de investigação liderada pela Universidade da Cidade do Cabo, com a Universidade de Pretória, a Western Sydney University, a Universidade Federal de Pernambuco e a Macquarie University, propôs-se automatizar a pontuação da EGRA para o isiXhosa, uma das línguas oficiais da África do Sul.

Ao longo de um esforço de recolha de dados de 8 meses, apoiado por uma bolsa Grand Challenges da Fundação Gates, a equipa reuniu 14.971 gravações de EGRA, mais de 19 horas de fala infantil, dos anos 1 a 4 em escolas sul-africanas; três avaliadores humanos independentes validaram primeiro a abordagem de pontuação face a um especialista em EGRA, e os modelos de reconhecimento de voz afinados foram depois comparados com esses dados rotulados por humanos.

Os avaliadores humanos alcançaram 85% de concordância com o especialista em EGRA, e os modelos de reconhecimento de voz afinados alcançaram aproximadamente 91% de eficiência diagnóstica face aos dados rotulados por humanos.

A avaliação publicada nota que nenhuma configuração de modelo minimizou simultaneamente as taxas de erro de falsos positivos e falsos negativos, o que significa que qualquer implementação precoce implicaria trocar um tipo de classificação incorreta por outro, e o trabalho permanece uma validação em fase de investigação e não um sistema nacional de avaliação em funcionamento.