Precisión del subtitulado automático para estudiantes sordos — comparativa de ocho herramientas en la Universidad de York (Canadá)

Un estudio de Pam Millett (Facultad de Educación, Universidad de York, Toronto) probó ocho aplicaciones y plataformas de voz a texto como subtitulado en tiempo real para estudiantes sordos o con hipoacusia de educación superior, en condiciones acústicas deliberadamente controladas: Interact Streamer, Ava, Otter, Google Slides, Microsoft Stream, Microsoft Translator, Camtasia Studio y YouTube.
La precisión se midió de dos maneras: Precisión Total (porcentaje de palabras correctas) y Precisión de Significado (errores que alteran el mensaje). En la clase en directo, Otter obtuvo 99,7 %, Google Slides 97,7 %, Interact Streamer 93,6 % y Ava 87,2 %, frente a 99,8 % de un subtitulador humano CART. En vídeo pregrabado, YouTube obtuvo 98 % y Microsoft Stream 98,7 % (subtitulado humano de posproducción: 99,9 %). En una conversación en directo entre tres estudiantes, Microsoft Translator obtuvo 94,1 % y Ava 92,7 %.
La Precisión de Significado fue casi idéntica a la Precisión Total, por lo que los errores no fueron triviales: algunos produjeron texto irreconocible (por ejemplo, «babies get mauled up» en lugar de «babies get mobile»). La autora señala que los errores de puntuación pueden confundir y que ninguna investigación define cuándo la precisión es «suficientemente buena».
Advertencias: el audio estaba optimizado (ruido, distancia y reverberación mínimos), la clase fue breve y leída de un guion, y la autora prevé una precisión notablemente menor en aulas reales. Es una prueba de precisión, no un ensayo de resultados de aprendizaje. Un trabajo independiente (Kafle y Huenerfauth, ASSETS 2017, 30 participantes sordos o con hipoacusia) muestra que la tasa de error por palabra predice mal la utilidad de los subtítulos, lo que respalda la medida basada en el significado. La práctica consiste en probar la precisión de significado de las herramientas antes de adoptarlas como ajuste y mantener el subtitulado humano CART cuando la precisión es crítica.