From video shots with scenes of TV news or similar, obtain annotations that indicate when known persons appear and disappear from the scene Structure of the System - Face Detection - Recognition of know persons faces (from Data Base) - Additional features to help recognition other than faces - Tracking of faces to know when every person in the scene appears and disappears - Shot detection, to have an important reference of possible changes of persons in the scene The student will concentrate on one of these steps, specifically on recognition and/or tracking

This project is about tracking of objects or regions in video sequences. There are many tracking techniques and we are going to focus on one of them to follow the participants of TV show’s faces. This work is a participation in “Camomile”’s project from the Image Processing Group of UPC, where the main goal is to summarize TV programs, detecting every moment which persons are being part of the sequence. One of the parts to get this summary is to locate the speakers or TV presenter faces in order to be able to track it and recognize people. To make the tracking, which is the main goal of the project, it has been used a generic algorithm about graph cuts that minimizes some energy functions. The one that have been utilized in this project to work with graph cuts is the one that allows us to find the optical flow between two images. Therefore, if we start with a rectangular zone where the face is placed (bounding box) we can use this algorithm to know the optical flow of this region between two consecutives images. Once achieved the optical flow, we have the motion vectors information of all pixels from the region of interest. As we use a rectangular bounding box, we need to do a processing of this information to make a good estimation of the face position in the following image. Also, to determinate how the rectangle moves. We have to take into consideration that the bounding box can increase or decrease its size, apart from displacing. A lot of tests have been done to prove the algorithm performance (available as Open Source), and then several techniques have been tested to process the movement vectors previously obtained. Eventually, the obtained results have been composed with the results obtained by using other technique based on particle filter, an algorithm that also allows us to do face tracking.

En este proyecto se trabaja en lo que se conoce como tracking o seguimiento de objetos o regiones. Existen muchas técnicas de tracking, y nosotros nos hemos centrado en utilizar una de ellas para seguir las caras de participantes de programas de televisión. El trabajo se enmarca en el proyecto “Camomile” del Grupo de Procesado de Imagen de la UPC, donde el objetivo es poder resumir o anotar programas de televisión, detectando en cada momento qué personas participan en la secuencia. Una de les partes para poder conseguir éste resumen es tener localizadas las caras de los tertulianos o del presentador para poder realizar un seguimiento a lo largo del tiempo y también reconocer a las personas. Para el seguimiento, objetivo de este trabajo, se ha utilizado un algoritmo genérico de graph cuts que sirve para minimizar algunas funciones de energía. La función de energía utilizada en este proyecto para trabajar con graph cuts es la que nos permite encontrar el flujo óptico entre dos imágenes. Así pues, si partimos de una zona inicial rectangular dónde se encuentre la cara (bounding box) podemos utilizar este algoritmo para poder conocer el flujo óptico de esta región entre dos imágenes consecutivas. Una vez conseguido el flujo óptico, tenemos la información de los vectores de movimiento de todos los píxeles de la región de interés. Al utilizar un bounding box rectangular, es necesario hacer un procesado de esta información para obtener una buena estimación de la posición de la cara en la siguiente imagen y poder determinar cómo se mueve el rectángulo, teniendo en cuenta que aparte de desplazarse, puede reducir o aumentar su tamaño. Se han realizado diversas pruebas para comprobar el funcionamiento del algoritmo disponible como código libre, y posteriormente se han probado diversas técnicas y definido los parámetros para procesar la información de los vectores de movimiento obtenidos. Finalmente se han comparado los resultados obtenidos con los resultados utilizando otra técnica basada en el filtro de partículas, un algoritmo que también permite hacer el seguimiento de caras.

En aquest projecte es treballa en el que es coneix com a tracking o seguiment d’objectes o regions. Existeixen moltes tècniques de tracking, i nosaltres ens centrarem en utilitzar una d’elles per tal de seguir les cares dels participants de programes de televisió. El treball s’emmarca en el projecte “Camomile” del Grup de Processament d’Imatge de la UPC on l’objectiu és poder resumir o anotar programes de televisió, detectant en cada moment quines persones participen en la seqüència. Una de les parts per poder aconseguir aquest resum és tenir localitzades les cares dels tertulians o del presentador per tal de fer-ne el seguiment al llarg del temps i també reconèixer les persones. Per realitzar el seguiment, objectiu d’aquest treball, s’ha utilitzat un algoritme genèric de graph cuts que serveix per minimitzar algunes funcions d’energia. La funció d’energia utilitzada en aquest projecte per treballar amb graph cuts és la que ens permet trobar el flux òptic entre dues imatges. Així doncs, si partim d’una zona inicial rectangular on es trobi la cara (bounding box) podem utilitzar aquest algoritme per tal de conèixer el flux òptic d’aquesta regió entre dues imatges consecutives. Un cop aconseguit el flux òptic, tenim la informació dels vectors de moviment de tots els píxels de la regió d’interès. Com que s’utilitza un bounding box rectangular, cal fer un processat d’aquesta informació per tal d’obtenir una bona estimació de la posició de la cara a la següent imatge i poder determinar com es mou el rectangle, tenint en compte que a part de desplaçar-se, pot reduir o augmentar la seva mida. S’han realitzat diverses proves per comprovar el funcionament de l’algoritme disponible com a programari lliure, i posteriorment s’han provat diverses tècniques i definit els paràmetres per processar la informació dels vectors de moviment obtinguts. Finalment s’han comparat els resultats obtinguts amb els resultats utilitzant una altra tècnica basada en el filtre de partícules, un altre algoritme que també permet fer el seguiment de cares.