Echoing the past, predicting the future: an exploration of various aspects related to Echo State Networks

Abstract

Echo State Netzwerke (ESNs) sind eine Art rekurrenter neuronaler Netze bestehend aus einem großen, zufällig verbundenen rekurrenten Reservoir und einem anschließenden linearen Readout Layer. Nur die Gewichte des Readout Layers werden angepasst, wodurch das Training von ESNs auf eine lineare Regression hinausläuft. Trotz ihrer konzeptuellen Einfachheit kann die erfolgreiche Anwendung von ESNs herausfordernd sein, da ihr Verhalten aus theoretischer Sicht noch nicht gut verstanden ist. Diese Arbeit untersucht verschiedene Aspekte zu ESNs, um zu deren Verständnis beizutragen. Der Fokus liegt auf der Rolle des Spektralradius, einem der wichtigsten Hyperparameter dieser Netzwerke. Wir leiten den Zusammenhang zwischen Reservoirgewicht-Verteilung und Spektralradius theoretisch her und demonstrieren experimentell den Einfluss des letzteren auf die Leistung eines ESNs bei unterschiedlich anspruchsvollen Eingabedaten. Anschließend analysieren wir die Auswirkungen von plastizitätsbasiertem Reservoir-Pretraining auf die Ergebnisse sowie den Spektralradius und vervollständigen unsere experimentelle Analyse mit zwei Vorhersageaufgaben auf realen Daten. Schließlich geben wir einen Ausblick auf eine andere Perspektive auf ESNs, die diese Netzwerke mit Kernelmaschinen in Verbindung setzt.

Echo state networks (ESNs) are a type of recurrent neural network (RNN) consisting of a large, randomly connected recurrent reservoir followed by a linear readout layer. Training ESNs boils down to a linear regression because only the readout weights are adapted. Despite their conceptual simplicity, successfully applying ESNs can be challenging, as their behavior is not yet well understood from a theoretical point of view. This thesis intends to contribute to the understanding of these networks by exploring various ESN-related aspects. Our main focus lies on the role of the spectral radius, which is one of the most important hyperparameters of an ESN. We theoretically derive the relation between reservoir weight distribution and spectral radius and demonstrate the influence of the latter on the performance of an ESN for inputs of varying difficulty. Subsequently, we examine the effects of plasticity-based reservoir pretraining on the network’s results and on its spectral radius and complete our experimental analysis with two prediction tasks on real-world data. Finally, we provide an outlook on an interesting alternative perspective on ESNs that relates these networks to kernel machines.