Evaluación mediante reconocimiento de voz con IA de la fluidez lectora oral en xhosa

Las Evaluaciones de Lectura de Primer Grado (EGRA) son pruebas de lectura oral individuales utilizadas para detectar a los niños que se están quedando atrás en alfabetización, y constituyen la herramienta estándar en países de ingresos bajos y medios, pero requieren evaluadores humanos capacitados y rara vez están disponibles en lenguas africanas más allá de las pocas que ya cuentan con soporte de reconocimiento de voz.

Un equipo de investigación liderado por la Universidad de Ciudad del Cabo, junto con la Universidad de Pretoria, la Western Sydney University, la Universidade Federal de Pernambuco y la Macquarie University, se propuso automatizar la puntuación de la EGRA para el isiXhosa, una de las lenguas oficiales de Sudáfrica.

A lo largo de un esfuerzo de recopilación de datos de 8 meses, respaldado por una beca Grand Challenges de la Fundación Gates, el equipo reunió 14.971 grabaciones de EGRA, más de 19 horas de habla infantil, de los grados 1 a 4 en escuelas sudafricanas; tres evaluadores humanos independientes validaron primero el enfoque de puntuación frente a un experto en EGRA, y luego los modelos de reconocimiento de voz ajustados se compararon con esos datos etiquetados por humanos.

Los evaluadores humanos alcanzaron un 85% de concordancia con el experto en EGRA, y los modelos de reconocimiento de voz ajustados alcanzaron aproximadamente un 91% de eficiencia diagnóstica frente a los datos etiquetados por humanos.

La evaluación publicada señala que ninguna configuración del modelo minimizó simultáneamente las tasas de error de falsos positivos y falsos negativos, lo que significa que cualquier implementación temprana supondría intercambiar un tipo de clasificación errónea por otro, y el trabajo sigue siendo una validación en fase de investigación y no un sistema nacional de evaluación en funcionamiento.