Proyecto aiD — Avatares en Lengua de Signos con IA y el Conjunto de Datos Curriculares Elementary23 para Estudiantes Sordos en Chipre

El proyecto «Artificial Intelligence for the Deaf» (aiD) fue coordinado por el profesor asociado Sotirios Chatzis en la Cyprus University of Technology, en Limassol, con un consorcio de 32 investigadores que incluyó a Georgia Tech, la Hellenic Federation of the Deaf y la European Union of the Deaf. Se desarrolló entre diciembre de 2019 y noviembre de 2023 en el marco de las Acciones Marie Skłodowska-Curie de la UE (Horizonte 2020, subvención 872139), con una financiación de €1.587m y un valor total del proyecto reportado de hasta €1.7m. Estuvo motivado por la evidencia de que más del 60% de los niños sordos en Grecia y España tienen competencias de lectura y escritura severamente limitadas, lo que limita su acceso a contenidos escolares hablados/escritos.

El proyecto pretendía utilizar aprendizaje profundo y realidad aumentada para dar a los estudiantes sordos y con discapacidad auditiva acceso al contenido oral de las clases en lengua de signos. Se proponía crear una aplicación de IA generativa que produce vídeo en lengua de signos a partir de texto o voz casi en tiempo real mediante un avatar personal, además de una herramienta complementaria que superpone un avatar que interpreta sobre vídeo ya existente, y construir un conjunto de datos en Lengua de Signos Griega para entrenar y evaluar estos modelos.

El consorcio construyó Elementary23, un conjunto de datos en Lengua de Signos Griega basado en el plan de estudios oficial de la escuela primaria griega en seis asignaturas (Lengua Griega, Matemáticas, Religión, Estudio del Medio, Historia y Antología), compuesto por 29,653 pares de vídeo-traducción producidos por nueve intérpretes profesionales. Se entrenó un modelo stochastic LWTA-Transformer sobre un subconjunto curado de 8,372 pares del conjunto de datos, comparándolo después con otros conjuntos de datos de traducción en lengua de signos. Se informó de que la herramienta complementaria de transcripción/superposición tiene un consumo de memoria hasta un 70% menor que el de soluciones anteriores.

En el subconjunto curado de 8,372 pares de Elementary23, el modelo stochastic LWTA-Transformer alcanzó puntuaciones BLEU-4 de 6.67 en validación y 5.69 en test, superando el benchmark SWISSTXT-NEWS (0.41-0.46) y siendo comparable a OpenASL (6.57-6.72). Se trata de métricas técnicas de calidad de traducción del modelo, no de resultados de aprendizaje medidos en el aula para estudiantes sordos.

Según los informes públicos más recientes, el equipo aún estaba desarrollando un modelo de suscripción comercial y no se encontró evidencia de implementación habitual en el aula. La evaluación en Evidoria señala que el proyecto puntúa bien en equidad e inclusión, dado su enfoque en la brecha de alfabetización en la educación de personas sordas, pero otorga puntuaciones más bajas en evidencia de impacto en el aprendizaje, desarrollo de capacidades docentes y escalabilidad/sostenibilidad, ya que los resultados reportados son puntos de referencia de calidad de traducción y no resultados en el aula, permaneciendo la tecnología en fase de prototipo.