Precisão da legendagem automática para estudantes surdos — comparação de oito ferramentas na Universidade de York (Canadá)

Um estudo de Pam Millett (Faculdade de Educação, Universidade de York, Toronto) testou oito aplicações e plataformas de conversão de fala em texto como legendagem em tempo real para estudantes surdos ou hipoacúsicos do ensino superior, em condições acústicas deliberadamente controladas: Interact Streamer, Ava, Otter, Google Slides, Microsoft Stream, Microsoft Translator, Camtasia Studio e YouTube.
A precisão foi medida de duas formas: Precisão Total (percentagem de palavras corretas) e Precisão de Significado (erros que alteram a mensagem). Na condição de aula ao vivo, o Otter obteve 99,7%, o Google Slides 97,7%, o Interact Streamer 93,6% e o Ava 87,2%, contra 99,8% de um legendador humano CART. Em vídeo pré-gravado, o YouTube obteve 98% e o Microsoft Stream 98,7% (legendagem humana de pós-produção: 99,9%). Numa conversa ao vivo entre três estudantes, o Microsoft Translator obteve 94,1% e o Ava 92,7%.
A Precisão de Significado foi quase idêntica à Precisão Total, pelo que os erros não foram triviais: alguns produziram texto irreconhecível (por exemplo, «babies get mauled up» em vez de «babies get mobile»). A autora nota que erros de pontuação podem induzir em erro e que não existe investigação que defina quando a precisão é «suficientemente boa».
Avisos: o áudio foi otimizado (ruído, distância e reverberação mínimos), a aula foi curta e lida a partir de um guião, e a autora prevê precisão significativamente inferior em salas reais. É uma avaliação de precisão, não um ensaio de resultados de aprendizagem. Trabalho independente (Kafle e Huenerfauth, ASSETS 2017, 30 participantes surdos/hipoacúsicos) mostra que a taxa de erro por palavra prevê mal a utilidade das legendas, o que apoia a medida baseada no significado. A prática é uma referência de aquisição baseada em evidência: testar a precisão de significado das ferramentas antes de as adotar como medida de apoio e manter a legendagem humana CART onde a precisão é mais crítica.