L'objectiu del projecte és cal·librar i registrar un sistema de múltiples càmeres i Kinects en un entorn Smart Room.

[ANGLÈS] This project has been developed in the UPC Smart Room, an environment for experimentation and research in acoustic and visual technologies. The room is instrumented with different sensors (cameras, microphones, actuators, etc) to perceive and understand what is happening around them. The purpose is to achieve that the computer systems cease to be passive spaces and can help us and facilitate our everyday tasks. All these functionalities are useful for many environments such as hospitals, offices, factories, houses, etc. The calibration of different sensors is a necessary procedure for many applications. It is important in smart spaces, where it works with multiple sensors, and the fusion of all data is required. It is increasingly common to use multiple sensors to obtain the appropriate information for each application. For this reason, it is convenient to integrate a depth sensor (Kinect) in these environments of multiple cameras. Kinect has been used in many applications because it allows to obtain depth information at very low cost. In this project we will calibrate, adapt and improve the calibration system of the Smart Room. In the first part of this report, we introduce the theoretical bases on calibration, projection, 3D reconstruction and registration. In the second part, we explain in detail the calibration procedure for the cameras and Kinects. We propose some changes and adaptations in the calibration tool, such as an update of the pattern employed for the calibration of extrinsics parameters. All these modifications are made to improve the calibration accuracy, but also in order to automate and facilitate the process. We will also present an alternative for the registration among different sensors. We will use the calibration information for the registration, as a good calibration accuracy reflected in a good registration between sensors. After a stage of calibration and adaptation, evaluate the results and compare with the pre-existing procedure in terms of accuracy. Therefore, the last chapter of the project deals with evaluating these results by means of the implementation of a series of experiments.

[CASTELLÀ] Este proyecto se ha desarrollado en la sala Smart Room de la UPC, un entorno de experimentación y de investigación donde se trabajan con tecnologías acústicas y de análisis visual. La sala está equipada con diferentes sensores (cámaras, micrófonos, actuadores, etc) que permiten percibir y entender lo que sucede a su alrededor. La finalidad es conseguir que los sistemas informáticos dejen de ser espacios pasivos y nos puedan ayudar y facilitar en nuestras tareas cotidianas. Todas estas calidades son útiles para multitud de escenarios como hospitales, oficinas, fábricas, viviendas, etc. La calibración de diferentes sensores es un procedimiento necesario para muchas aplicaciones. Sobre todo es importante en espacios inteligentes donde se trabaja con múltiples sensores, y se requiere la fusión de los datos de todos ellos. Cada vez es más común emplear muchos sensores para obtener la información adecuada para cada aplicación. Por este motivo, se ha creído conveniente integrar un sensor de profundidad (Kinect) en este entorno de múltiples cámaras. Kinect ha experimentado un alto crecimiento de uso en múltiples aplicaciones gracias a permitir obtener información de profundidad a un coste muy bajo. En este proyecto nos centraremos en calibrar, adaptar y mejorar el sistema de calibración de la sala Smart Room de la UPC. En la primera parte, se indican las bases teóricas sobre calibración, proyección, reconstrucción 3D y registro. En el segundo bloque, se explicará en detalle todo el procedimiento de calibración por las cámaras y los Kinects. Se propondrán unos cambios y adaptaciones en la herramienta de calibración, actualización del patrón de extrínsecos, etc. Todas estas modificaciones se realizarán con el objetivo de conseguir mejorar la precisión en la calibración, pero también para automatizar y facilitar el procedimiento. También se presentará una alternativa de registro entre diferentes sensores. Para registrar se usará la información de calibración, puesto que así una buena precisión en la calibración se verá reflejada en un buen registro entre sensores. Después de una etapa de calibración y adaptación, se evaluarán los resultados y se compararán con los preexistentes. Por lo tanto, el último capítulo del proyecto se centra en testear estos resultados mediante la implementación de una serie de experimentos.

[CATALÀ] Aquest projecte s'ha desenvolupat en la sala Smart Room de la UPC, un entorn d'experimentació i de recerca on es treballen amb tecnologies acústiques i d’anàlisi visual. La sala està equipada amb diferents sensors (càmeres, micròfons, actuadors, etc) que permeten percebre i entendre el que succeeix al seu voltant. La finalitat és aconseguir que els sistemes informàtics deixin de ser espais passius i ens puguin ajudar i facilitar en les nostres tasques quotidianes. Totes aquestes qualitats són útils per multitud d'escenaris com hospitals, oficines, fàbriques, habitatges, etc La calibració de diferents sensors és un procediment necessari per a moltes aplicacions. Sobretot és important en espais intel·ligents on es treballa amb múltiples sensors, i es requereix la fusió de les dades de tots ells. Cada cop és més comú emprar molts sensors per obtenir la informació adequada per a cada aplicació. Per aquest motiu, s'ha cregut convenient integrar un sensor de profunditat (Kinect) en aquest entorn de múltiples càmeres. Kinect ha experimentat un alt creixement d'ús en múltiples aplicacions gràcies a permetre obtenir informació de profunditat a un cost molt baix. En aquest projecte ens centrarem en calibrar, adaptar i millorar el sistema de calibració de la sala Smart Room de la UPC. En la primera part, s'indiquen les bases teòriques sobre calibració, projecció, reconstrucció 3D i registre. En el segon bloc, s'explicarà en detall tot el procediment de calibració per les càmeres i els Kinects. Es proposaran uns canvis i adaptacions en l'eina de calibració, actualització del patró d'extrínsecs, etc. Totes aquestes modificacions es realitzaran amb l'objectiu d'aconseguir millorar la precisió en la calibració, però també per tal d'automatitzar i facilitar el procediment. També es presentarà una alternativa de registre entre diferents sensors. Per a registrar es farà servir la informació de calibració, ja que així una bona precisió en la calibració es veurà reflectida en un bon registre entre sensors. Després d'una etapa de calibració i adaptació, s'avaluaran els resultats i es compararan amb els preexistents. Per tant, l'últim capítol del projecte se centra en testejar aquests resultats mitjançant la implementació d'una sèrie d'experiments.