Desarrollo de Software dedicado a la traducción de la Lengua Mexicana de Señas mediante Deep Learning y Machine Learning

Abstract

Existen diversas propuestas para abordar la interpretación de las lenguas de señas (LS) a lenguajes escritos y hablados, empleando desarrollos basados en dispositivos electrónicos y en técnicas de visión computacional. Entre los problemas más comunes para la interpretación de las LS se encuentra la falta de conjuntos de datos estandarizados para generar modelos de interpretación de LS y la ausencia de software multiplataforma. Esta investigación presenta el desarrollo de un software para equipos móviles y de sobremesa dedicado a la interpretación de la Lengua de Señas Mexicana (LSM). Adicionalmente, el software tiene la función de detección de objetos que se encuentren en espacios como casa-habitación y oficinas para su traducción a la LSM y a texto en español para facilitar la integración del vocabulario de la LSM, tanto como para personas sordomudas y sin discapacidad auditiva o del habla. Por otro lado, se ha desarrollado un conjunto de datos para la LSM con 42 clases, basado en distintos escenarios de 30 participantes e imágenes provenientes de internet para desarrollar una red neuronal convolucional (RNC) con el algoritmo YOLOv8 y un modelo de reconocimiento de Machine Learning (ML) mediante MediaPipe, el cual pude ser actualizado a través de un servicio en la nube. Los resultados para la RCN dedicada a la LSM muestran 90% de mAP50 y para el modelo ML un accuracy de 0.817. La RNC dedicada a la traducción de objetos al español consta de 79 clases provenientes del conjunto de datos COCO.