CoBRA — O Projeto-Piloto de Reconhecimento de Voz com IA da RTI International para Avaliação da Leitura Oral nas Filipinas

O CoBRA (Computer-Based Reading Assessment) foi uma ferramenta-piloto do programa All Children Reading da USAID nas Filipinas, combinando um plugin de gravação de voz, o Speech Recognition Engine da Google para filipino e um algoritmo de pontuação baseado em aprendizagem automática para calcular as palavras corretas por minuto e a precisão de leitura a partir das gravações da leitura oral dos alunos, tendo como referência o padrão Phil-IRI. A RTI International desenvolveu-a entre fevereiro e abril de 2022 e testou-a em regime piloto com o DepEd entre junho e julho de 2022, em 42 escolas.

Testar se a pontuação por reconhecimento de voz baseado em IA poderia substituir a avaliação humana da fluência de leitura oral em inglês e filipino, à escala nacional.

O projeto-piloto testou 1063 alunos em inglês e 933 em filipino, do 4.º ao 6.º ano, e formou ou orientou 145 professores e 67 coordenadores de TIC. O relatório final da RTI (apresentado em novembro de 2022) realizou uma análise de validade concorrente, reavaliando de forma independente e manual uma subamostra de 346 avaliações em inglês e 345 em filipino, comparando-as com as pontuações da IA.

A IA subestimou as palavras corretas por minuto em, em média, 21,8 em inglês e 25,1 em filipino, relativamente aos reavaliadores humanos, e assinalou incorretamente ou saltou 21% do texto em inglês e 60% do texto em filipino que os alunos realmente leram. A variância das pontuações por ano de escolaridade entre a IA e a avaliação humana variou entre 31-48% em inglês e 37-64% em filipino, agravando-se à medida que os textos se tornavam mais complexos. Mais de 90% dos 81 professores inquiridos consideraram a ferramenta fácil de utilizar e sentiram que a pontuação era 'geralmente exata' -- uma perceção que os dados quantitativos de validade não confirmaram.

O projeto-piloto de segunda fase, de maior dimensão, previsto pelo DepEd foi cancelado, oficialmente atribuído a uma reorganização institucional e a custos de licenciamento insustentáveis; o próprio relatório da RTI concluiu que a pontuação por IA 'não é suficientemente exata nem fiável para ser utilizada como meio independente de medir as competências de fluência de leitura oral dos alunos'. A prática está catalogada como um resultado negativo rigorosamente avaliado e reportado com honestidade.