Investigadores de la Universidad Árabe Americana de Palestina, respaldados por Warwick, crearon un Vision Transformer que reconoce gestos de la Lengua de Señas Palestina para 41 conceptos matemáticos con 97,59% de precisión, para enseñar matemáticas al alumnado sordo.
97.59 %
Precisión de reconocimiento de gestos matemáticos en LSP
41
Clases de gestos LSP en el conjunto de datos
434
Clips de video de clase anotados en Sign Pulse
Detalles
Madurez
Piloto
Promotor
Arab American University (AAUP), Palestine, with University of Warwick Education Fund support
Período
2025 (Vision Transformer study published July 2025); related Sign Pulse framework published 2026
Palabras clave
assistive technology, computer vision, sign language recognition, mathematics education, deaf and hard-of-hearing accessibility
Contexto
Los alumnos sordos y con dificultades auditivas en Palestina cuentan con casi ningún recurso digital dedicado en Lengua de Señas Palestina, dependiendo de intérpretes o del árabe escrito para asignaturas como matemáticas.
Actividades
Investigadores de la Universidad Árabe Americana, con el apoyo del Fondo Educativo de la Universidad de Warwick, construyeron un conjunto de datos personalizado de 41 clases de gestos en LSP que representan conceptos matemáticos centrales y entrenaron un Vision Transformer para reconocerlos en tiempo real; un marco relacionado, Sign Pulse, extiende el enfoque a asignaturas STEM para los grados 1-4, usando un nuevo conjunto de datos de 434 clips de video.
Resultados
El modelo de reconocimiento alcanzó una precisión del 97,59%.
Conclusiones
El modelo de reconocimiento solo lee gestos de manos, sin captar expresiones faciales y movimientos corporales que también transmiten significado en LSP, y ningún estudio mide todavía si el aprendizaje real de matemáticas de los alumnos mejora al usar el sistema.
Implementación
Coste indicativo
Bajo (< 50 000 €)
Tiempo hasta resultados
Corto (< 1 año)
¿Usted implementa esta práctica?
Reivindíquela —
los implementadores verificados obtienen un contacto público en la página y pueden proponer correcciones.
Fuentes de datos
De dónde se obtuvo la información de esta práctica, y cuándo.