DESARROLLO EMPÍRICO DE UNA ARQUITECTURA DE PERCEPTRÓN MULTICAPA BINARIO RESIDUAL

Abstract

Desde su introducción en 2015 por Courbariaux, las redes neuronales binarias han surgido como una alternativa prometedora para reducir los grandes requisitos de cómputo, memoria y almacenamiento inherentes a los modelos de aprendizaje profundo, permitiendo su implementación en dispositivos con recursos limitados, como los utilizados en el cómputo de frontera. No obstante, estas estructuras presentan una notable degradación en su exactitud en comparación con sus equivalentes de punto flotante. Se han ideado técnicas con variados enfoques para abordar este problema, entre las que se encuentran la reducción del error de cuantización, la mejora de las funciones de pérdida y de aproximación del gradiente, diversas estrategias de entrenamiento y el diseño de arquitecturas específicas para redes binarias. Este trabajo de tesis propone utilizar las últimas recomendaciones del estado del arte en el diseño de redes binarias para desarrollar empíricamente una arquitectura de perceptrón multicapa binario residual que reduce los efectos adversos del proceso de binarización. La intención es presentar un modelo que siendo compacto y eficiente, obtiene exactitud comparable a la de un perceptrón de punto flotante.