Title:
|
Compression of convolutional neural networks using Tucker Decomposition; Compresión de redes neuronales convolucionales con Descomposición Tucker; Compressió de xarxes neuronals convolucionals amb la Descomposició Tucker
|
Author:
|
Granés Santamaria, Cristina
|
Other authors:
|
Universitat Politècnica de Catalunya. Departament de Teoria del Senyal i Comunicacions; Data61; Commonwealth Scientific and Industrial Research Organization; Alvarez, Jose María; Giró Nieto, Xavier |
Abstract:
|
Nowadays, deep neural networks are being introduced in mobile devices where memory space and computation speed is limited. Therefore, the need for more com- pression in those networks has increased. In this work, we explore a way to com- press the convolutional neural networks by reducing the number of weights in their convolutional layers. This method consists on the Tucker decomposition of tensors introduced on the kernels of the convolutional layers. Two different architectures, one with three convolutional layers and another with five, are the base of our study. We employ the Tucker decomposition in different forms, with more or less compression. We compute their compression rates versus the accuracy and loss (training and test) for the CIFAR-10 dataset, in order to see how good the performance of the compressed models is with respect to the original. The decomposition achieves its best results when compressing partially each kernel layer, up to 70%. Finally, we visualize the probability density function of the filters, contrasting its shape in function of the compression. From those plots, we conclude that, not only we are able to reduce the number of parameters, but also the number of bits needed to store them if we use entropy encoding. |
Abstract:
|
Últimament es van introduïnt les xarxes neuronals als dispositius móbils, quan la
seva capacitat i velocitat de computació estan limitades. Això acompanya a la necessitat
d’introduïr la compressió d’aquestes xarxes neuronals. Amb aquest projecte,
s’explora una forma de comprimir les xarxes neuronals convolucionals, reduïnt el
nombre de pesos a les seves capes convolucionals. Aquest mètode consisteix en la
descomposió de tensors anomenada Tucker, que s’introdueix als nuclis de les capes
convolucionals.
Dues extructures diferents, una amb tres capes convolucionals i una altra amb
cinc, s’usen com a base d’estudi. Es duu a terme la descomposició de Tucker de
diferents maneres, amb més o menys compressió. Es computen les pèrdues i precisions
(en l’entrenament i el test) de la base de dades CIFAR-10, per veure quin és
el seu rendiment en funció del model original. La descomposició aconsegueix millors
resultats quan es comprimeix parcialment cada capa, fins a una compressió del
∼70%.
Finalment, es visualitza la forma de la funció de densitat de probabilitat dels
pesos en funció de la compressió. A partir d’aquí, es conclueix que, no només
es poden reduïr el número de paràmetres, sinò també el nombre de bits usats per
emmagatzemar-los, si usem un mètode de codificació entròpica. |
Abstract:
|
Últimamente, se van introduciendo las redes neuronales en dispositivos móviles,
cuándo su memoria y velocidad de computación son limitados. Entonces, esto
acompaña a la necesidad de comprimir esas redes neuronales. En este proyecto,
se explora una forma de comprimir redes neuronales convolucionales reduciendo el
número de pesos en sus capas convolucionales. Este método consiste en la descomposición
de tensores Tucker, que se introduce en los núcleos de las capas convolucionales.
Dos estructuras diferentes, una con tres capas convolucionales y otra con cinco,
se usan como base del estudio. Se emplea la descomposición de Tucker de formas
distintas, con más o menos compresión. Se computen las pérdidas y la precisión
(en entrenamiento y test) en función del ratio de compresión del modelo para la
base de datos CIFAR-10, para ver su rendimiento con respeto al modelo original. La
descomposición alcanza sus mejores resultados cuando se comprime parcialmente
cada capa, hasta una compresión del ∼70%.
Finalmente, se visualiza la forma de la función de densidad de probabilidad de
los pesos en función de la compresión. A partir de esto, se conclude que, no solo se
puede reducir el número de parámetros sino también el número de bits usados para
almacenarlos, si usamos un método de codificación entrópica. |
Subject(s):
|
-Àrees temàtiques de la UPC::Enginyeria de la telecomunicació::Telemàtica i xarxes d'ordinadors -Neural networks (Computer science) -CNN -tucker -Xarxes neuronals (Informàtica) |
Rights:
|
S'autoritza la difusió de l'obra mitjançant la llicència Creative Commons o similar 'Reconeixement-NoComercial- SenseObraDerivada'
http://creativecommons.org/licenses/by-nc-nd/3.0/es/ |
Document type:
|
Research/Master Thesis |
Published by:
|
Universitat Politècnica de Catalunya
|
Share:
|
|