Desarrollo de guantes traductores de lengua de señas colombiana a lengua natural

Vista sencilla de ítem
dc.contributor.advisorGonzález Acevedo, Hernando
dc.contributor.authorHernández Samacá, Silvia Fernanda
dc.contributor.authorCalderón Quintero, Oscar Duván
dc.contributor.cvlacGonzález Acevedo, Hernando [0000544655]spa
dc.contributor.googlescholarGonzález Acevedo, Hernando [V8tga0cAAAAJ&hl=es&oi=ao]spa
dc.contributor.orcidGonzález Acevedo, Hernando [0000-0001-6242-3939]spa
dc.contributor.researchgateGonzález Acevedo, Hernando [Hernando-Gonzalez-Acevedo-2199006362]spa
dc.contributor.scopusGonzález Acevedo, Hernando [55821231500]spa
dc.coverage.campusUNAB Campus Bucaramangaspa
dc.coverage.spatialColombiaspa
dc.date.accessioned2022-07-11T15:24:27Z
dc.date.available2022-07-11T15:24:27Z
dc.date.issued2022-06-10
dc.degree.nameIngeniero Mecatrónicospa
dc.description.abstractEn la actualidad, el mundo en constante desarrollo donde se exigen diferentes capacidades para adaptarse, la correcta comunicación es indispensable y fundamental. Cada sector ya sea en un ámbito social, económico o cultural, requiere de una serie de mensajes en cualquier formato que permitan la transmisión de ideas, esto con el fin de asegurar un acuerdo entre las partes involucradas. Los resultados obtenidos en el diseño y validación de guantes traductores de lengua de señas colombiana (LSC) a lengua natural. Sensores MPU6050 captan el movimiento de los dedos y la tarjeta TCA9548a permite multiplexar los datos. Además, una placa Arduino Uno preprocesa los datos los cuales son interpretados en la Raspberry Pi haciendo uso de estadísticos de tendencia central, Principal Component Analysis (PCA), y una estructura de red neuronal para el reconocimiento de patrones (Pattern Recognition); por último, la seña realizada se reproduce en formato de audio. La metodología que se desarrolla a continuación se enfoca en la traducción de ciertas palabras previamente seleccionadas, obteniendo en promedio, un porcentaje de clasificación del 88.97%.spa
dc.description.abstractenglishIn a constantly developing world where different capabilities are required to adapt, proper communication is essential and fundamental. Each sector, whether in a social, economic, or cultural environment, requires a series of messages in any format that allow the transmission of ideas, to ensure an agreement between the parties involved. The results obtained in the design and validation of translating gloves from Colombian Sign Language (CSL) to natural language. MPU6050 sensors capture the movement of the fingers and the TCA9548a board allows multiplexing the data. In addition, an Arduino Uno board preprocesses the data which are interpreted in the Raspberry Pi using central tendency statistics, Principal Component Analysis (PCA), and a neural network structure for pattern recognition (Pattern Recognition); finally, the sign made is reproduced in audio format. The methodology developed below focuses on the translation of certain previously selected words, obtaining an average classification rate of 88.97%.spa
dc.description.degreelevelPregradospa
dc.description.learningmodalityModalidad Presencialspa
dc.description.tableofcontentsINTRODUCCIÓN 16 OBJETIVOS 17 Objetivo general 17 Objetivos específicos 17 1. MARCO REFERENCIAL E INGENIERÍA DE DETALLE 18 1.1. CARACTERÍSTICAS Y CLAVES DESCRIPTIVAS DE LA LENGUA DE SEÑAS COLOMBIANA (LSC) 18 1.1.1. Lengua de señas 18 1.1.1.1. Dactilología 18 1.1.1.2. Ideograma 19 1.1.1.3. Diccionario LSC 20 1.2. TECNOLOGÍAS APLICADAS PARA LA TRADUCCIÓN DE LA LENGUA DE SEÑAS 21 1.2.1. Reconocimiento de imágenes 21 1.2.2. Prototipos con guantes 22 1.3. DISEÑO E INSTRUMENTACIÓN 22 1.3.1. Arduino Uno 23 1.3.1.1. Protocolo de comunicación 24 1.3.2. Raspberry Pi 3B 25 Firmado digitalmente por Nayibe Chio Cho Fecha:3 1.3.2.1. Pines GPIO 27 1.3.2.2. Comunicación Raspberry Pi 3B - Arduino 27 1.3.3. Sensor MPU6050 28 1.3.3.1. Caracterización 30 1.3.3.2. Distribución 31 1.3.4. Módulo TCA9548a 32 1.3.5. Circuito impreso y pines JST 35 1.3.6. Modelado prototipo guante derecho 35 1.4. ADQUISICIÓN Y TRATAMIENTO DE LA SEÑAL 40 1.4.1. Lectura de datos 40 1.4.2. Mapeo de datos 41 1.4.3. Filtro EMMA 42 2. ALGORITMO DE INTELIGENCIA ARTIFICIAL 52 2.1. ALGORITMO DE CLASIFICACIÓN 52 2.1.1. Normalizado y extracción de datos estadísticos 53 2.1.2. Reducción de dimensionalidad (método PCA) 60 2.1.2.1. Reducción PCA datos individuales 62 2.1.3. Red neuronal 63 2.1.3.1. Función Tansig 64 2.1.3.2. Función Softmax 65 2.1.3.3. Algoritmo de entrenamiento 65 2.1.3.3.1. Backpropagation 66 2.1.3.3.2. Gradiente conjugado escalado 66 2.1.4. Diseño de la red neuronal 66 2.1.5. Clasificador 75 2.1.5.1. Implementación del periférico 77 2.2. ENTRENAMIENTO 78 2.2.1. Protocolo experimental 78 2.2.2. Bases de datos 79 3. VALIDACIÓN 83 3.1. Validación teórica Matlab-Simulink 83 3.1.1. Método alfabeto 84 3.1.2. Método palabras 87 3.1.3. Análisis de resultados 88 3.2. Validación experimental 89 3.2.1. Validación Python - manual 89 3.2.1.1. Análisis de resultados 92 3.2.2. Validación sistema embebido (tiempo real) 96 3.2.2.1. Análisis de resultados 99 CONCLUSIONES 102 TRABAJOS A FUTURO 104 BIBLIOGRAFÍA 105spa
dc.format.mimetypeapplication/pdfspa
dc.identifier.instnameinstname:Universidad Autónoma de Bucaramanga - UNABspa
dc.identifier.reponamereponame:Repositorio Institucional UNABspa
dc.identifier.repourlrepourl:https://repository.unab.edu.cospa
dc.identifier.urihttp://hdl.handle.net/20.500.12749/16875
dc.language.isospaspa
dc.publisher.facultyFacultad Ingenieríaspa
dc.publisher.grantorUniversidad Autónoma de Bucaramanga UNABspa
dc.publisher.programPregrado Ingeniería Mecatrónicaspa
dc.relation.references[1]. Organización Mundial de la Salud. Sordera y pérdida de la audición. [“en línea”]. (https://www.who.int/es/news-room/fact-sheets/detail/deafness-and-hearing-loss). Octubre 2021spa
dc.relation.references[2] Gestrad. Lengua de señas. [“en línea”]. ( https://www.agestrad.com/la-lenguade-senas/). Octubre 2021spa
dc.relation.references[3] VILCHES, Josefa. La dactilología, ¿qué, cómo, cuándo?. {En línea}. 2005 {septiembre 2020}. Disponible en: http://www.uco.es/~fe1vivim/alfabeto_dactilologico.pdfspa
dc.relation.references[4] Real academia española. Ideograma. [en línea]. (https://dle.rae.es/ideograma). Octubre 2020spa
dc.relation.references[5]. Insor. Diccionario básico de la lengua de señas colombiana. 2011. [en línea]. (http://www.insor.gov.co/descargar/diccionario_basico_completo.pdf). Septiembre 2020spa
dc.relation.references[6] H. MADANI y M. NAHVI. Isolated Dynamic Persian Sing Language Recognition Based On Camshift Algorithm and Radon Transformspa
dc.relation.references[7] Y. XUE, S. GAO, H. SOL, y WEIQIN, A. Chinese Sign Language Recognition System Using Leap Motion. 2022spa
dc.relation.references[8] SHUJARITO, H. GUNAWAN, N. THIRACITTA y A. NUGROHO. Sign Language Recognition Using Modified Convolutional Neural Network Model. 2017spa
dc.relation.references[9] N. HARDIYANTI, A. LAWI, DIARAYA y F. AZIZ. Clasificación de la actividad humana basada en el sensor acelerómetro y giroscopio usando el método de SVM. (EIConCIT 2018)spa
dc.relation.references[10] Y. MORI y M. TOYONAGA. Data Glove for Japanese Sign Language Training System with Gyro-Sensor. 2018spa
dc.relation.references[11] L. JI, J. LIU y S. SHIMAMOTO. Recognition of Japanese Sign Language by Sensor-Based Data Glove Employing Machine Learning. 2022spa
dc.relation.references[12] Kolwidi. Comunicaciones serie en Arduino: UART, I2C y SPI. [en línea. (https://kolwidi.com/blogs/blog-kolwidi/comunicaciones-serie-en-arduino-uart-i2c-yspi). Septiembre 2020spa
dc.relation.references[13] Robots didácticos. Descripción y funcionamiento del bus I2C. [en línea]. (http://robots-argentina.com.ar/didactica/descripcion-y-funcionamiento-del-busi2c/). Septiembre 2020spa
dc.relation.references[14] Xataka. De cero a maker: Todo lo necesario para empezar con Raspberry Pi. [en línea]. (https://www.xataka.com/makers/cero-maker-todo-necesario-paraempezar-raspberry-pi). Junio 2021spa
dc.relation.references[15] Hardware libre. GPIO: Todo sobre las conexiones de la Raspberry pi 4y 3. [en línea]. (https://www.hwlibre.com/gpio-raspberry-pi/). Octubre 2021spa
dc.relation.references[16] 330 OHMS. Cómo conectar Arduino y Raspberry Pi por comunicación serial. [en línea]. (https://blog.330ohms.com/2020/07/07/como-conectar-arduino-yraspberry-pi-por-comunicacion-serial/). Octubre 2021spa
dc.relation.references[17] Naylamp Mechatronics. MPU 6050 y TCA9548A. [en línea] (https://naylampmechatronics.com/blog/45_tutorial-mpu6050-acelerometro-ygiroscopio.html). Junio 2020spa
dc.relation.references[18] B. SILVA. W. CALIXTO y G. FURRIEL. Análisis de dispositivos y parámetros de redes neuronales artificiales para el reconocimiento del lenguaje de señasspa
dc.relation.references[19] Luis llamas. filtro paso bajo y paso alto exponencial (EMA) en Arduino. [en línea]. (https://www.luisllamas.es/arduino-paso-bajo-exponencial/). Mayo 2021spa
dc.relation.references[20] CARRASCO, Álvaro. ¿Qué es el puntaje z o puntaje estandarizado? [en línea]. (2003). Mayo 2021. (https://aathosc.tripod.com/PuntajeZ22.htm)spa
dc.relation.references[21] HERNÁNDEZ, Zenaida. Métodos de análisis de datos. Universidad de la rioja. (2012)spa
dc.relation.references[22] Machine learning mastery. Feature selection for machine learning in Python. [en línea]. (https://machinelearningmastery.com/feature-selection-machine-learningpython/). Febrero 2021spa
dc.relation.references[23] Análisis de componentes principales. Inteligencia artificial. UNAB 2021spa
dc.relation.references[24] Neural Net Pattern Recognition. MATLAB. r2019aspa
dc.relation.references[25]. Neural Network Toolbox. TANSIG. [en línea] (http://matlab.izmiran.ru/help/toolbox/nnet/tansig.html). Agosto 2021spa
dc.relation.references[26] Fran Ramírez. Las matemáticas del machine Learning: Funciones de activación. [en línea]. (4 JUNIO 2020). Agosto 2021. (https://empresas.blogthinkbig.com/las-matematicas-del-machine-learningfunciones-de-activacion/)spa
dc.relation.references[27] D. J. MATICH. Redes neuronales: conceptos básicos y aplicaciones. universidad tecnológica nacional. Marzo 2021spa
dc.relation.references[28]. F. S. CAPARRINI. Entrenamiento de redes neuronales: Mejorando el gradiente descendiente. [en línea]. Diciembre 2020. Noviembre 2021. (http://www.cs.us.es/~fsancho/?e=165)spa
dc.relation.references[29]. The balance Careers. Principio de Pareto o la regla del 80/20. [en línea]. (https://www.thebalancecareers.com/pareto-s-principle-the-80-20-rule-2275148). Septiembre 2021spa
dc.relation.references[30] Repositorio institucional. Un modelo de recomendación de protocolos experimentales basado en el contexto de uso del usuario. [en línea]. (https://repositorio.unal.edu.co/handle/unal/79598). Octubre 2021spa
dc.rights.accessrightsinfo:eu-repo/semantics/openAccessspa
dc.rights.creativecommonsAtribución-NoComercial-SinDerivadas 2.5 Colombia*
dc.rights.localAbierto (Texto Completo)spa
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/2.5/co/*
dc.subject.keywordsMechatronicspa
dc.subject.keywordsTranslator glovesspa
dc.subject.keywordsLanguage translatorsspa
dc.subject.keywordsTransmission of ideasspa
dc.subject.keywordsSoftware developmentspa
dc.subject.keywordsProgrammingspa
dc.subject.keywordsSensorsspa
dc.subject.keywordsPrototype developmentspa
dc.subject.keywordsElectrical circuitsspa
dc.subject.lembMecatrónicaspa
dc.subject.lembDesarrollo de softwarespa
dc.subject.lembProgramaciónspa
dc.subject.lembSensoresspa
dc.subject.lembDesarrollo de prototiposspa
dc.subject.lembCircuitos eléctricosspa
dc.subject.proposalGuantes traductoresspa
dc.subject.proposalTraductores de lenguaspa
dc.subject.proposalTransmisión de ideasspa
dc.subject.proposalArduinospa
dc.titleDesarrollo de guantes traductores de lengua de señas colombiana a lengua naturalspa
dc.title.translatedDevelopment of translator gloves from Colombian sign language to natural languagespa
dc.type.coarhttp://purl.org/coar/resource_type/c_7a1f
dc.type.coarversionhttp://purl.org/coar/version/c_ab4af688f83e57aaspa
dc.type.driverinfo:eu-repo/semantics/bachelorThesis
dc.type.hasversioninfo:eu-repo/semantics/acceptedVersion
dc.type.localTrabajo de Gradospa
dc.type.redcolhttp://purl.org/redcol/resource_type/TP

Archivos

Bloque original

Mostrando 1 - 2 de 2
Miniatura
Nombre:
2022_Tesis_Silvia_Fernanda_Hernandez.pdf
Tamaño:
15.21 MB
Formato:
Adobe Portable Document Format
Descripción:
Tesis
Descargar
Miniatura
Nombre:
2022_Licencia_Silvia_Fernanda_Hernandez.pdf
Tamaño:
831.98 KB
Formato:
Adobe Portable Document Format
Descripción:
Licencia
Descargar

Bloque de licencias

Mostrando 1 - 1 de 1
Miniatura
Nombre:
license.txt
Tamaño:
829 B
Formato:
Item-specific license agreed upon to submission
Descripción:
Descargar

Colecciones

Pregrado Ingeniería Mecatrónica