Fusion of 3D data for interactive applications

Abstract

The main objective of this project is to present an implementation of several registration algorithms for the fusion of 3D data to enlarge detection area in interactive applications. This work compares the registration of two depth sensors obtained using camera calibration from a geometrical pattern and the auto-registration using the detection of a human finger as a reference. Employing a finger detector instead of a geometrical pattern gives a main advantage: the method is more user-friendly, without the need of external objects, while the time consumed in the process and the registration error are similar to those obtained through classical camera calibration. The interactive application used, provided by Exipple Studio, allows the user to track a hand through the detection area of a single depth sensor. The contribution of this work is the increase of detection area by 78.5% at 120cm from the sensors, using the resulting registration.

El objetivo principal de esta tesis es presentar la implementación de diversos algoritmos de registro para la fusión de datos 3D, resultando en un aumento del área de detección en apicaciones interactivas. Este trabajo compara el registro de dos sensores de profundidad obtenido a partir de la calibración de los mismos usando un patrón geométrico y el obtenido a partir del registro automático utilizando la detección de un dedo humano como referencia. Utilizar un detector de dedos en lugar de un patrón geométrico aporta una ventaja principal: el método es más fácil de usar para el usuario, ya que no se necesitan objetos externos, mientras que el tiempo empleado y el error de registro son similares a los obtenidos con la calibración clásica de los sensores. La aplicación iteractiva utilizada, concedida por Exipple Studio, permite hacer el seguimiento de una mano por toda la área de detección de un solo sensor. La contribución de este trabajo es el aumento del área de detección en un 78.5% a 120cm de los sensores, debido al registro resultante.

L'objectiu principal d'aquest projecte és presentar la implementació de diversos algoritmes de registre per a la fusió de dades 3D, resultant en un augment de l'àrea de detecció en aplicacions interactives. Aquest treball compara el registre de dos sensors de profunditat obtingut a partir de la seva calibració a mitjançant d'un patró geomètric i l'obtingut a partir del registre automàtic usant la detecció d'un dit humà com a referència. Utilitzar un detector de dit en lloc d'un patró geomètric aporta una avantatge principal: el mètode és més fàcil d'usar per l'usuari, ja que no es necessiten objectes externs, mentre que el temps emprat i l'error de registre són similars als obtinguts amb la calibració clàssica dels sensors. L'aplicació interactiva utilitzada, concedida per Exipple Studio, permet fer el seguiment d'una mà per tota l'àrea de detecció d'un sol sensor. La contribució d'aquest treball és l'augment de l'àrea de detecció en un 78.5% a 120cm dels sensors, degut al registre resultant.