Évaluation par reconnaissance vocale IA de la fluidité de lecture orale en xhosa

Les évaluations de lecture des premières années (EGRA) — des tests oraux individuels qui signalent les enfants prenant du retard — sont l'outil standard pour mesurer l'alphabétisation dans les pays à revenu faible ou intermédiaire, mais leur administration nécessite des évaluateurs humains formés et se fait rarement dans des langues africaines autres que celles déjà prises en charge par la reconnaissance vocale. Une équipe de recherche dirigée par l'université du Cap, avec l'université de Pretoria, la Western Sydney University, l'Universidade Federal de Pernambuco et la Macquarie University, a entrepris d'automatiser la notation EGRA pour le xhosa, l'une des langues officielles d'Afrique du Sud.
Au cours d'un effort de collecte de données de 8 mois, l'équipe a rassemblé 14 971 enregistrements EGRA (plus de 19 heures de parole d'enfants) auprès d'élèves de la 1re à la 4e année dans des écoles sud-africaines, avec le soutien d'une subvention Grand Challenges de la Fondation Gates. Trois évaluateurs humains indépendants ont d'abord validé l'approche de notation par rapport à un expert EGRA, atteignant 85 % d'accord ; les modèles de reconnaissance vocale affinés ont ensuite été comparés à ces données annotées par des humains, atteignant environ 91 % d'efficacité diagnostique.
L'évaluation publiée est particulièrement franche sur ses limites : les auteurs notent qu'aucune configuration de modèle n'a minimisé simultanément les taux de faux positifs et de faux négatifs, ce qui signifie que tout déploiement précoce échangerait un type d'erreur de classification contre un autre. Ce travail reste une validation au stade de la recherche, et non un système d'évaluation national déployé.