Football simulator in virtual reality using Kinect and Htc Vive

Abstract

This thesis addresses the problem of incorporating real world objects into the virtual reality world and its usage inside the gaming community. Using Kinect camera and HTC Vive glasses we recreated a football simulator where the user is able to play with a real ball while watching it in virtual reality. To achieve our goal, we present a mix of image processing algorithms that are be able to track the ball with only depth given by Kinect. Furthermore, a dynamic-link library is generated from the algorithm and used in Unity3D framework. Moreover, solving the rigid transform between the two coordinates spaces will make the VR ball as it was real. Finally, we designed a videogame using real world elements making the interaction and the gameplay more real. Thus, opening a range of opportunities that developers could take advantage of.

Esta tesis aborda el problema de incorporar objetos del mundo real en el mundo de la realidad virtual y su uso dentro de la comunidad de los videojuegos. Usando la cámara Kinect y HTC Vive hemos recreado un simulador de fútbol donde el usuario es capaz de jugar con una pelota real mientras lo ve en realidad virtual. Para lograr nuestro objetivo, presentamos una mezcla de algoritmos de procesamiento de imagen que son capaces de rastrear la pelota con sólo la profundidad dada por Kinect. Además, una biblioteca de enlaces dinámicos se genera a partir del algoritmo y se utiliza en Unity3D. Además, resolver la transformación rígida entre los dos espacios de coordenadas hará que la pelota en realidad virtual sea como real. Finalmente, se diseña un videojuego utilizando elementos del mundo real, haciendo que la interacción y la durabilidad sean más reales. Por lo tanto, se abre una serie de oportunidades que los desarrolladores pueden aprovechar.

En aquesta tesi s‟aborda el problema de la incorporació d‟objectes del món real al món de la realitat virtual i el seu ús en la comunitat de videojocs. Utilitzant una càmera Kinect i HTC Vive recreem un simulador de futbol on l‟usuari és capaç de jugar amb una pilota de veritat mentre ho veu en la realitat virtual. Per aconseguir el nostre objectiu, presentem una combinació d‟algoritmes de processament d‟imatge que són capaços de seguir la pilota amb valors de profunditats donats per Kinect. A més, una biblioteca d‟enllaç dinàmic es genera a partir de l‟algoritme i s‟utilitza dins de Unity3D. A més a més, resoldre la transformació rígida entre els dos espais de coordenades farà que la pilota en realitat virtual sigui com real. Finalment s‟ha dissenyat un videojoc utilitzant elements del món real fent la interacció i la jugabilitat més real. Per això, s‟obre una gamma d‟oportunitats que els desenvolupadors podrien aprofitar.