T

This thesis explores the semantic classification of images based processing of electroencephalogram (EEG) signals generated by the viewer's brain. The work extends an existing solution by exploring the gains obtained when the parameters of the classifier are adapted to the user. Firstly, we developed an universal end-to-end model based on deep learning that extracts features from the EEG raw signals predicts the semantic content of the image between 40 possible classes from the ImageNet dataset. Our main contribution aims at adapting this universal model to new users, in order to build a personalized model based on the minimum feedback from the new user. We explored different deep learning architectures and hyperparameters to obtain a better accuracy than the baseline by Spampinato et al (CVPR 2017). We achieve a result of 89.03 % and 90.34 % of the universal and personalized model respectively. The developed software and models are publicly available at https://github.com/Albocal/EEG-Signals-using-LSTM.

Esta tesis explora la clasificación semántica de imágenes basado en el procesamiento de señales de electroncefalograma (EEG) generadas por el cerebro del espectador. El trabajo extiende una solución existente explorando la ganacia obtenida cuando los parámetros del clasificador son adaptados al usuario. En primer lugar, desarrollamos un modelo universal de extremo a extremo basado en el Deep Learning que extrae características de las señales raw EEG i predice el contenido semántico de la imagen entre 40 clases posibles del conjunto de datos ImageNet. Nuestra principal contribución tiene como objetivo la adaptación de este modelo universal a los nuevos usuarios, con el fin de construir un modelo personalizado basado en la retroalimentación mínima del nuevo usuario. Exploramos diferentes arquitecturas de aprendizaje profundo e hiperparámetros para obtener una mayor precisión que el baseline de Spampinato (CVPR 2017). Alcanzamos un resultado de 89.03 % y 90.34 % del modelo universal y personalizado respectivamente. El software y los modelos desarrollados están disponibles públicamente en https://github.com/Albocal/EEG-Signals-using-LSTM.

Aquesta tesi explora la classificació semàntica d'imatges basat en el processament de senyals de electroncefalograma (EEG) generades pel cervell de l'espectador. El treball estén una solució existent explorant la ganacia obtinguda quan els paràmetres del classificador són adaptats a l'usuari. En primer lloc, desenvolupem un model universal d'extrem a extrem basat en el Deep Learning que extreu característiques dels senyals raw EEG i prediu el contingut semàntic de la imatge entre 40 classes possibles del conjunt de dades ImageNet. La nostra principal contribució té com a objectiu l'adaptació d'aquest model universal als nous usuaris, amb la finalitat de construir un model personalitzat basat en la retroalimentació mínima del nou usuari. Explorem diferents arquitectures d'aprenentatge profund i hiperparámetros per obtenir una major precisió que baseline de Spampinato (CVPR 2017). Aconseguim un resultat de 89.03 % i 90.34 % del model universal i personalitzat respectivament. El programa i els models desenvolupats estan disponibles públicament en https://github.com/albocal/eeg-signals-using-lstm.