CoBRA — Le Projet Pilote de Reconnaissance Vocale par IA de RTI International pour l'Évaluation de la Lecture Orale aux Philippines

CoBRA (Computer-Based Reading Assessment) était un outil pilote du programme All Children Reading de l'USAID aux Philippines, combinant un module d'enregistrement vocal, le Speech Recognition Engine de Google pour le filipino et un algorithme de notation basé sur l'apprentissage automatique pour calculer le nombre de mots corrects par minute et la précision de lecture à partir des enregistrements de lecture orale des élèves, en référence à la norme Phil-IRI. RTI International l'a développé de février à avril 2022 et l'a testé en projet pilote avec le DepEd de juin à juillet 2022, dans 42 écoles.

Tester si la notation par reconnaissance vocale basée sur l'IA pouvait remplacer l'évaluation humaine de la fluidité de lecture orale en anglais et en filipino, à l'échelle nationale.

Le projet pilote a testé 1063 élèves en anglais et 933 en filipino, de la 4e à la 6e année, et a formé ou sensibilisé 145 enseignants et 67 coordinateurs TIC. Le rapport final de RTI (soumis en novembre 2022) a mené une analyse de validité concourante, en réévaluant de manière indépendante et manuelle un sous-échantillon de 346 évaluations en anglais et 345 en filipino, puis en les comparant aux scores de l'IA.

L'IA a sous-estimé le nombre de mots corrects par minute de 21,8 en moyenne en anglais et de 25,1 en filipino par rapport aux réévaluateurs humains, et a signalé ou omis à tort 21 % du texte anglais et 60 % du texte filipino réellement lu par les élèves. L'écart de notation entre l'IA et l'évaluation humaine, selon le niveau scolaire, variait de 31 à 48 % en anglais et de 37 à 64 % en filipino, s'aggravant à mesure que les passages devenaient plus complexes. Plus de 90 % des 81 enseignants interrogés ont jugé l'outil facile à utiliser et ont estimé que la notation était 'globalement fiable' -- une perception que les données quantitatives de validité ne confirmaient pas.

Le projet pilote de deuxième phase, plus vaste, prévu par le DepEd a été annulé, officiellement en raison d'une réorganisation institutionnelle et de coûts de licence insoutenables ; le rapport de RTI lui-même a conclu que la notation par IA 'n'est pas suffisamment précise ni fiable pour être utilisée comme moyen indépendant de mesurer les compétences de fluidité de lecture orale des élèves'. Cette pratique est cataloguée comme un résultat négatif rigoureusement évalué et rapporté en toute honnêteté.