Interpretación de la Lengua de Signos Española mediante deep learning

Temas

Detalles

De acuerdo con el Instituto Nacional de Estadística, cerca de un 5% de la población española sufre de algún tipo de discapacidad auditiva. Dicha discapacidad supone una barrera comunicativa entre la gente que emplea la Lengua de Signos y aquella que la desconoce, lo que puede derivar en una marginación social, laboral y/o cultural. Para ayudar a mejorar la comunicación entre el colectivo sordo y la población oyente están los intérpretes de Lengua de Signos, pero estas personas no pueden estar presentes en todo momento. Es en esta línea donde se encuentra nuestra propuesta, un sistema autónomo de traducción de Lengua de Signos Española a castellano. En particular nos hemos centrado en la traducción, por un lado, del alfabeto dactilológico y, por otro, de un pequeño vocabulario centrado en actividades de la vida cotidiana. Para generar este sistema es necesario un gran volumen de datos con los que poder entrenar diferentes modelos hasta alcanzar el objetivo. Para ello, se ha obtenido un conjunto de datos propio ya que, en el momento de escribir este trabajo, no existía ninguno público ni para el alfabeto ni relativo a las actividades cotidianas. Así, se han grabado diferentes personas signando las 30 letras que componen el alfabeto así como 23 palabras pertenecientes a actividades cotidianas. Tras esto se han estudiado diferentes técnicas de deep learning como Redes Neuronales Convolucionales (CNN) y Redes Neuronales Recurrentes (RNN) con el fin de encontrar el modelo que mejores resultados proporcione. Entre los diversos experimentos realizados se ha alcanzado una precisión máxima de 78.81%. A pesar de no ser un sistema perfecto, los resultados son muy prometedores y abren el camino a una comunicación sin barreras. Así, nuestro trabajo futuro se centrará en mejorar la precisión así como aumentar el vocabulario considerado.