Investigadores da Universidade Árabe-Americana da Palestina, com apoio de Warwick, criaram um Vision Transformer que reconhece gestos da Língua Gestual Palestiniana para 41 conceitos matemáticos com 97,59% de precisão, para aulas de matemática na língua gestual dos alunos surdos.
97.59 %
Precisão de reconhecimento de gestos matemáticos em LGP
41
Classes de gestos LGP no conjunto de dados
434
Vídeos de aulas anotados no Sign Pulse
Detalhes
Maturidade
Piloto
Promotor
Arab American University (AAUP), Palestine, with University of Warwick Education Fund support
Período
2025 (Vision Transformer study published July 2025); related Sign Pulse framework published 2026
Palavras-chave
assistive technology, computer vision, sign language recognition, mathematics education, deaf and hard-of-hearing accessibility
Contexto
As crianças surdas e com dificuldades auditivas na Palestina quase não têm recursos digitais dedicados em Língua Gestual Palestiniana, ficando dependentes de intérpretes ou de árabe escrito para disciplinas como a matemática.
Atividades
Investigadores da Universidade Árabe-Americana, com o apoio do Fundo de Educação da Universidade de Warwick, construíram um conjunto de dados personalizado de 41 classes de gestos em LGP representando conceitos matemáticos centrais e treinaram um Vision Transformer para os reconhecer em tempo real; um quadro relacionado, Sign Pulse, estende a abordagem a disciplinas STEM para os anos 1-4, usando um novo conjunto de dados de 434 vídeos.
Resultados
O modelo de reconhecimento alcançou uma precisão de 97,59%.
Conclusões
O modelo de reconhecimento lê apenas gestos das mãos, não captando expressões faciais e movimentos corporais que também transmitem significado em LGP, e nenhum estudo mede ainda se a aprendizagem real de matemática dos alunos melhora com a utilização do sistema.
Implementação
Custo indicativo
Baixo (< 50 mil €)
Tempo até resultados
Curto (< 1 ano)
Implementa esta prática?
Reivindique-a —
implementadores verificados obtêm um contacto público na página e podem propor correções.
Fontes de dados
De onde foi obtida a informação desta prática, e quando.