Projeto aiD — Avatares de Língua Gestual com IA e o Conjunto de Dados Curriculares Elementary23 para Estudantes Surdos em Chipre

O projeto 'Artificial Intelligence for the Deaf' (aiD) foi coordenado pelo Professor Associado Sotirios Chatzis na Cyprus University of Technology, em Limassol, com um consórcio de 32 investigadores que incluiu a Georgia Tech, a Hellenic Federation of the Deaf e a European Union of the Deaf. Decorreu entre dezembro de 2019 e novembro de 2023 no âmbito das Ações Marie Skłodowska-Curie da UE (Horizonte 2020, subvenção 872139), com um financiamento de €1.587m e um valor total do projeto reportado até €1.7m. Foi motivado pela evidência de que mais de 60% das crianças surdas na Grécia e em Espanha têm competências de leitura e escrita severamente limitadas, o que limita o seu acesso a conteúdos letivos falados/escritos.

O projeto visava utilizar deep learning e realidade aumentada para dar a estudantes surdos e com deficiência auditiva acesso a conteúdos letivos falados em língua gestual. Propunha-se construir uma aplicação de IA generativa que produz vídeo em língua gestual a partir de texto ou fala quase em tempo real através de um avatar pessoal, bem como uma ferramenta complementar que sobrepõe um avatar de interpretação a vídeo já existente, e construir um conjunto de dados em Língua Gestual Grega para treinar e avaliar estes modelos.

O consórcio construiu o Elementary23, um conjunto de dados em Língua Gestual Grega baseado no programa curricular oficial do ensino básico grego em seis disciplinas (Língua Grega, Matemática, Religião, Estudo do Meio, História e Antologia), composto por 29,653 pares de vídeo-tradução produzidos por nove intérpretes profissionais. Foi treinado um modelo stochastic LWTA-Transformer num subconjunto curado de 8,372 pares do conjunto de dados, sendo depois comparado com outros conjuntos de dados de tradução em língua gestual. A ferramenta complementar de transcrição/sobreposição foi reportada como tendo um consumo de memória até 70% inferior ao de soluções anteriores.

No subconjunto curado de 8,372 pares do Elementary23, o modelo stochastic LWTA-Transformer atingiu pontuações BLEU-4 de 6.67 na validação e 5.69 no teste, superando o benchmark SWISSTXT-NEWS (0.41-0.46) e comparável ao OpenASL (6.57-6.72). Estas são métricas técnicas de qualidade de tradução do modelo, não resultados de aprendizagem medidos em sala de aula para estudantes surdos.

Segundo os relatos públicos mais recentes, a equipa ainda estava a desenvolver um modelo de subscrição comercial e não foi encontrada evidência de implementação regular em sala de aula. A avaliação na Evidoria assinala que o projeto pontua bem em equidade e inclusão, dado o seu foco na lacuna de literacia na educação de surdos, mas atribui pontuações mais baixas em evidência de impacto na aprendizagem, capacitação de professores e escalabilidade/sustentabilidade, uma vez que os resultados reportados são benchmarks de qualidade de tradução e não resultados em sala de aula, permanecendo a tecnologia em fase de protótipo.