Least Squares Regression Principal Component Analysis

Abstract

Dimension reduction is an important technique in surrogate modeling and machine learning. In this thesis, we present three existing dimension reduction methods in detail and then we propose a novel supervised dimension reduction method, `Least Squares Regression Principal Component Analysis" (LSR-PCA), applicable to both classification and regression dimension reduction tasks. To show the efficacy of this method, we present different examples in visualization, classification and regression problems, comparing it to state-of-the-art dimension reduction methods. Furthermore, we present the kernel version of LSR-PCA for problems where the input are correlated non-linearly. The examples demonstrated that LSR-PCA can be a competitive dimension reduction method.

La reducción de dimensiones es una técnica importante en el modelado de sustitución y el aprendizaje automático. En esta tesis, presentamos en detalle los tres métodos de reducción de dimensiones existentes y proponemos un novedoso método supervisado de reducción de dimensiones, el "Least Squares Regression Principal Component Analysis" (LSR-PCA), aplicable tanto a las tareas de clasificación como a las de reducción de dimensiones de regresión. Para demostrar la eficacia de este método, presentamos diferentes ejemplos de problemas de visualización, clasificación y regresión, comparándolo con los métodos más avanzados de reducción de dimensiones. Además, presentamos la versión del núcleo de LSR-PCA para problemas en los que las entradas están correlacionadas de forma no lineal. Los ejemplos demostraron que LSR-PCA puede ser un método competitivo de reducción de dimensiones.

Reducció de dimensions és una tècnica important dins del Machine-Learning. En aquesta tesi, presentem tres mètodes existents de reducció de dimensions en detall i llavors proposem un nou mètode supervisat de reducció de dimensions, "Least Squares Regression Principal Component Analysis" (LSR-PCA), aplicable a tant a tasques de classificació com a tasques de regressió. Per mostrar l'eficàcia d'aquest mètode, presentem exemples diferents en visualització, classificació i problemes de regressió, comparant-la a mètodes de dimensió de reducció moderns. A més, presentem la versió de nucli de LSR-PCA per a problemes on l'entrada és correlacionada no-linearment. Els exemples han demostrat que LSR-PCA pot ser un mètode de reducció de dimensions competitiu.