Robot NAO Tutor de Lengua de Señas Colombiana — Entrenador de Vocabulario con LSTM de la Universidad de La Sabana

Un equipo del grupo de investigación en control y automatización CAPSAB de la Universidad de La Sabana, en Chía, Colombia, programó un robot humanoide NAO H25 para enseñar y comprobar vocabulario básico de Lengua de Señas Colombiana (LSC), comenzando con 11 señas de colores, en respuesta a la escasez de docentes cualificados en LSC: menos del 0,2% de las instituciones educativas colombianas ofrecen instrucción bilingüe para alumnado sordo.

Construir y validar técnicamente un sistema de tutoría en lengua de señas basado en IA antes de cualquier prueba en el aula o con estudiantes.

El sistema extrae coordenadas de manos y torso a partir de vídeo mediante MediaPipe, y clasifica las señas con una red neuronal recurrente (LSTM) entrenada con 20 firmantes, probada tanto mediante webcam como con la propia cámara del robot, comunicándose por TCP/IP.

En pruebas técnicas, el sistema alcanzó una puntuación F1 del 91,6% (webcam) y del 93,8% (cámara del NAO), con tiempos de respuesta de 85 milisegundos y 2,3 segundos respectivamente; la seña de 'morado' se reconoció con un 100% de precisión.

Se trata de evidencia de madurez tecnológica en una etapa temprana, no de evidencia en el aula: el artículo solo reporta el rendimiento de reconocimiento de señas, y los autores afirman claramente que el sistema aún no se ha probado con estudiantes sordos; aún se necesita un ensayo de eficacia educativa antes de poder afirmar cualquier impacto en el aprendizaje.