Des chercheurs de l'Université arabo-américaine de Palestine, soutenus par Warwick, ont conçu un Vision Transformer reconnaissant les gestes de la langue des signes palestinienne pour 41 concepts mathématiques à 97,59% de précision, pour enseigner les maths aux élèves sourds.
97.59 %
Précision de reconnaissance des gestes mathématiques en LSP
41
Classes de gestes LSP dans le jeu de données
434
Clips vidéo de classe annotés dans Sign Pulse
Détails
Maturité
Pilote
Promoteur
Arab American University (AAUP), Palestine, with University of Warwick Education Fund support
Période
2025 (Vision Transformer study published July 2025); related Sign Pulse framework published 2026
Mots-clés
assistive technology, computer vision, sign language recognition, mathematics education, deaf and hard-of-hearing accessibility
Contexte
Les élèves sourds et malentendants en Palestine disposent de très peu de ressources numériques dédiées en langue des signes palestinienne, dépendant d'interprètes ou de l'arabe écrit pour des matières comme les mathématiques.
Activités
Des chercheurs de l'Université arabo-américaine, avec le soutien du fonds éducatif de l'université de Warwick, ont constitué un jeu de données personnalisé de 41 classes de gestes en LSP représentant des concepts mathématiques centraux et entraîné un Vision Transformer pour les reconnaître en temps réel ; un cadre associé, Sign Pulse, étend l'approche aux matières STEM pour les niveaux 1 à 4, à partir d'un nouveau jeu de données de 434 clips vidéo.
Résultats
Le modèle de reconnaissance a atteint une précision de 97,59 %.
Conclusions
Le modèle de reconnaissance ne lit que les gestes des mains, sans capter les expressions faciales et les mouvements corporels qui portent aussi du sens en LSP, et aucune étude ne mesure encore si l'apprentissage réel des mathématiques des élèves s'améliore grâce au système.
Mise en œuvre
Coût indicatif
Faible (< 50 k€)
Délai jusqu’aux résultats
Court (< 1 an)
Vous portez cette pratique ?
Revendiquez-la —
les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.
Sources de données
D'où proviennent les informations de cette pratique, et quand.