Analysis and development of alternate optimization algorithms for training multilayer perceptrons

Abstract

En aquest projecte es proposen dos algorismes d'entrenament de perceptrons multicapa amb l'objectiu de mitigar el problema d'estancament en mínims locals que els mètodes estàndard de xarxes neuronals han d'enfrontar. El primer està basat en el mètode d'optimització global Simulated Annealing, i segueix un esquema híbrid que combina cerca local amb salts de Simulated Annealing quan es queda estancat en un mínim local. El segon és un algorisme de dos fases basat en Tunneling: posteriorment a la cerca local de la primera fase, la fase de Tunneling cerca un pas trans-conca en un espai 2D altament informatiu generat a partir del millor mínim local trobat per la primera fase. S'han dut a terme diferents experiments amb tots dos algorismes, demostrant el seu millor rendiment i habilitat per escapar de mínims locals en problemes d'alta dimensionalitat en comparació amb l'algorisme estàndard pres com a base: Backpropagation amb Descens de Gradient Estocàstic.

Two alternative training algorithms for multilayer perceptrons are proposed to mitigate the local minima problem that standard neural network optimization methods must deal with. The first one is based on the global optimization algorithm Simulated Annealing and follows a hybrid scheme that combines local search with Simulated Annealing jumps when it gets stuck at local minima points. The second one is a two-phase training algorithm based on Tunneling. After the local search in the first phase, the Tunneling phase searches for a cross-basin step within a highly informative 2D subspace generated from the best known local minima by the first phase. Several experiments have been conducted with both algorithms, demonstrating their better performance and ability to escape local minima in highly dimensional problems compared to the training baseline Backpropagation with Stochastic Gradient Descent.