Projet aiD — Avatars en Langue des Signes par IA et le Jeu de Données Scolaires Elementary23 pour les Élèves Sourds à Chypre

Le projet « Artificial Intelligence for the Deaf » (aiD) a été coordonné par le professeur associé Sotirios Chatzis à la Cyprus University of Technology, à Limassol, avec un consortium de 32 chercheurs incluant Georgia Tech, la Hellenic Federation of the Deaf et l'European Union of the Deaf. Il s'est déroulé de décembre 2019 à novembre 2023 dans le cadre des actions Marie Skłodowska-Curie de l'UE (Horizon 2020, subvention 872139), avec un financement de €1.587m et une valeur totale du projet annoncée jusqu'à €1.7m. Il a été motivé par le constat que plus de 60% des enfants sourds en Grèce et en Espagne présentent des compétences en lecture et en écriture très limitées, ce qui restreint leur accès aux contenus scolaires oraux/écrits.

Le projet visait à utiliser l'apprentissage profond et la réalité augmentée pour donner aux élèves sourds et malentendants accès au contenu oral des cours en langue des signes. Il prévoyait de développer une application d'IA générative produisant une vidéo en langue des signes à partir de texte ou de parole en quasi temps réel via un avatar personnel, ainsi qu'un outil complémentaire superposant un avatar signant à une vidéo existante, et de construire un jeu de données en langue des signes grecque pour entraîner et évaluer ces modèles.

Le consortium a construit Elementary23, un jeu de données en langue des signes grecque fondé sur le programme officiel de l'école élémentaire grecque dans six matières (grec, mathématiques, religion, étude du milieu, histoire et anthologie), comprenant 29,653 paires vidéo-traduction produites par neuf interprètes professionnels. Un modèle stochastic LWTA-Transformer a été entraîné sur un sous-ensemble sélectionné de 8,372 paires du jeu de données, puis comparé à d'autres jeux de données de traduction en langue des signes. L'outil complémentaire de transcription/superposition afficherait une empreinte mémoire jusqu'à 70% inférieure à celle des solutions précédentes.

Sur le sous-ensemble sélectionné de 8,372 paires d'Elementary23, le modèle stochastic LWTA-Transformer a obtenu des scores BLEU-4 de 6.67 en validation et 5.69 en test, devançant le benchmark SWISSTXT-NEWS (0.41-0.46) et comparable à OpenASL (6.57-6.72). Il s'agit de métriques techniques de qualité de traduction du modèle, et non de résultats d'apprentissage mesurés en classe pour les élèves sourds.

Selon les rapports publics les plus récents, l'équipe développait encore un modèle d'abonnement commercial et aucune preuve de déploiement régulier en classe n'a été trouvée. L'évaluation sur Evidoria relève que le projet obtient un bon score en équité et inclusion, compte tenu de son attention portée à l'écart de littératie dans l'éducation des sourds, mais attribue des scores plus faibles à la preuve d'impact sur l'apprentissage, au renforcement des compétences des enseignants et à la scalabilité/durabilité, car les résultats rapportés sont des benchmarks de qualité de traduction plutôt que des résultats en classe, la technologie restant au stade de prototype.