Précision du sous-titrage automatique pour les étudiants sourds — comparatif de huit outils à l'Université York (Canada)

Une étude de Pam Millett (Faculté d'éducation, Université York, Toronto) a testé huit applications et plateformes de reconnaissance vocale comme sous-titrage en temps réel pour des étudiants sourds ou malentendants de l'enseignement supérieur, dans des conditions acoustiques volontairement contrôlées : Interact Streamer, Ava, Otter, Google Slides, Microsoft Stream, Microsoft Translator, Camtasia Studio et YouTube.
La précision a été mesurée de deux façons : la précision totale (part de mots corrects) et la précision de sens (erreurs qui modifient le message). Pour le cours en direct, Otter a obtenu 99,7 %, Google Slides 97,7 %, Interact Streamer 93,6 % et Ava 87,2 %, contre 99,8 % pour un sous-titreur humain CART. Pour la vidéo préenregistrée, YouTube a obtenu 98 % et Microsoft Stream 98,7 % (sous-titrage humain en post-production : 99,9 %). Dans une conversation en direct entre trois étudiants, Microsoft Translator a obtenu 94,1 % et Ava 92,7 %.
La précision de sens était presque identique à la précision totale : les erreurs n'étaient donc pas anodines, certaines produisant un texte méconnaissable (par ex. « babies get mauled up » pour « babies get mobile »). L'autrice note que les erreurs de ponctuation peuvent induire en erreur et qu'aucune recherche ne définit à partir de quand la précision est « suffisante ».
Réserves : l'audio était optimisé (bruit, distance et réverbération minimaux), le cours était court et lu à partir d'un texte, et l'autrice prévoit une précision nettement inférieure en classe réelle. Il s'agit d'un test de précision, pas d'un essai sur les résultats d'apprentissage. Un travail indépendant (Kafle et Huenerfauth, ASSETS 2017, 30 participants sourds ou malentendants) montre que le taux d'erreur par mot prédit mal l'utilité des sous-titres, ce qui conforte la mesure fondée sur le sens. La pratique consiste à tester la précision de sens des outils avant de les adopter comme aménagement et à garder le sous-titrage humain CART lorsque la précision est critique.