evidoria

← Retour à la liste

Bonne pratique Importée

Robot NAO Tuteur en Langue des Signes Colombienne — Entraîneur de Vocabulaire par LSTM de l'Universidad de La Sabana

Colombie · Chía · Voir le profil de Colombie

Preuves: Descriptif / auto-déclaré Top 89% 27/100 · Demandez à Evidence Copilot à propos de cette pratique

Une équipe de l'Universidad de La Sabana a appris à un robot NAO à enseigner et vérifier un vocabulaire de base en langue des signes colombienne, avec 91,6-93,8 % de précision en laboratoire — un prototype prometteur pas encore testé avec des élèves sourds, selon les auteurs.

91.6 %
Score F1 de reconnaissance des signes (webcam) (lab testing)
93.8 %
Score F1 de reconnaissance des signes (caméra du NAO) (lab testing)
85 milliseconds
Temps de réponse (webcam) (lab testing)
2.3 seconds
Temps de réponse (caméra du NAO) (lab testing)
20 signers
Signeurs utilisés pour entraîner le modèle (n/a)
Robot NAO Tuteur en Langue des Signes Colombienne — Entraîneur de Vocabulaire par LSTM de l'Universidad de La Sabana

Détails

Maturité
Pilote
Promoteur
Universidad de La Sabana (CAPSAB Research Group, Faculty of Engineering)
Période
2023–2024
Mots-clés
higher education, robotics, sign language, deaf education

Contexte

Une équipe du groupe de recherche en contrôle et automatisation CAPSAB de l'Universidad de La Sabana, à Chía, en Colombie, a programmé un robot humanoïde NAO H25 pour enseigner et vérifier le vocabulaire de base de la langue des signes colombienne (LSC), en commençant par 11 signes de couleurs, en réponse à la pénurie d'enseignants qualifiés en LSC - moins de 0,2 % des établissements d'enseignement colombiens proposent un enseignement bilingue pour les élèves sourds.

Objectifs

Construire et valider techniquement un système de tutorat en langue des signes doté d'IA avant tout test en classe ou auprès d'apprenants.

Activités

Le système extrait les coordonnées des mains et du torse à partir de la vidéo grâce à MediaPipe, et classe les signes à l'aide d'un réseau de neurones récurrent (LSTM) entraîné sur 20 signeurs, testé via une webcam ou la caméra propre du robot, communiquant par TCP/IP.

Résultats

Lors des tests techniques, le système a atteint un score F1 de 91,6 % (webcam) et 93,8 % (caméra du NAO), avec des temps de réponse de 85 millisecondes et 2,3 secondes respectivement ; le signe pour « violet » a été reconnu avec une précision de 100 %.

Conclusions

Il s'agit d'une preuve de maturité technologique à un stade précoce, et non d'une preuve en contexte de classe : l'article rapporte uniquement la performance de reconnaissance des signes, et les auteurs indiquent clairement que le système n'a pas encore été testé auprès d'apprenants sourds - un essai d'efficacité pédagogique reste nécessaire avant de pouvoir affirmer un quelconque impact sur l'apprentissage.

Mise en œuvre
Coût indicatif
Faible (< 50 k€) — No cost figure stated; low band is a conservative inferred estimate for a university research prototype built on an existing NAO robot and open-source tools.
Délai jusqu’aux résultats
Court (< 1 an) — Research and testing phase reported for 2023-2024.
Personnel et compétences
Universidad de La Sabana CAPSAB research group, Faculty of Engineering

Conditions de réussite

  • Built on established open tools (MediaPipe for pose extraction) and a purpose-trained LSTM network using data from 20 real signers

Modes d’échec courants

  • System has not been tested with deaf learners at all, only technically validated
  • Vocabulary limited to 11 colour signs
  • Added latency over the wireless NAO-camera connection (2.3s vs 85ms for webcam)

Où cela s’applique

Type de gouvernance
university research group
Échelle
lab prototype, single research team
Niveau de revenu
upper-middle-income

Kit de réplication

Artefacts réutilisables de cette pratique — tels que publiés par leurs sources.

Vous portez cette pratique ? Revendiquez-la — les porteurs vérifiés obtiennent un contact public sur la page et peuvent proposer des corrections.

Sources de données

D'où proviennent les informations de cette pratique, et quand.

Pièces jointes

Pratiques similaires qui pourraient vous être utiles