Today, agriculture is a very valuable activity of countries. Due to the large population growth in recent years, the demand for cultivation has also increased, hence agricultural robotics takes a fundamental role in this task, substantially increasing the yield and decreasing the time and cost of personnel. In this sense, the present project has as main objective to facilitate the harvesting of apples by farmers through an analysis of these, knowing their location in each tree and thus be collected. To know the location of apples in real time, Kinect cameras are used, through which the images are obtained on the one hand and on the other the spatial coordinates of each pixel of the image and the RGB values of these. In this project, apple predictions from a 2D detection network have been used as proposals for another 3D network. To move from one network to another, the 2D bounding boxes have been projected to 3D and used as input for the 3D classification network. This entire system aims to extend objects detection to 3D. So from a Kinect capture of an apple tree, a 3D apple detection is obtained.

Hoy en día, la agricultura es una actividad muy valiosa de los países. Debido al gran crecimiento de la población en los últimos años, la demanda de cultivo también ha aumentado, por lo que la robótica agrícola toma un papel fundamental en dicha tarea, aumentando sustancialmente el rendimiento de la recolección y disminuyendo el tiempo y coste de personal. En este sentido, el presente proyecto tiene como objetivo principal facilitar a los agricultores la recolección de manzanas mediante un análisis de estas, sabiendo su localización en cada árbol y así ser recolectadas. Para saber la localización de las manzanas en tiempo real, se utilizan unas cámaras Kinect, a través de las cuales se obtienen por un lado las imágenes y por otro las coordenadas espaciales de cada pixel de la imagen y los valores RGB de estas. En el presente proyecto, se han utilizado las predicciones de manzanas de una red de detección 2D, como propuestas para otra red 3D. Para pasar de una red a otra se han proyectado los cuadros delimitadores de las manzanas 2D a 3D y se han utilizado como entrada para la red de clasificación 3D. Todo este sistema tiene como objetivo extender la detección de objetos a 3D. Por lo que a partir de una captura Kinect de un manzano, se obtiene una detección de las manzanas en 3D.

Avui dia, l'agricultura és una activitat molt important dels països. A causa del gran creixement de la població en els últims anys, la demanda de cultiu també ha augmentat, de manera que la robòtica agrícola pren un paper fonamental en aquesta tasca, augmentant substancialment el rendiment de la collita i disminuint el temps i cost de personal En aquest sentit, el present projecte té com a objectiu principal facilitar als agricultors la recol·lecció de pomes mitjançant una anàlisi d'aquestes, sabent la seva localització en cada arbre i així ser recol·lectades. Per saber la localització de les pomes en temps real, s'utilitzen unes càmeres Kinect, a través de les quals s'obtenen d'una banda les imatges i de l'altra les coordenades espacials de cada píxel de la imatge i els valors RGB d'aquestes. En el present projecte, s'han utilitzat les prediccions de pomes d'una xarxa de detecció 2D, com propostes per una altra xarxa 3D. Per passar d'una xarxa a una altra s'han projectat els quadres delimitadors de les pomes 2D a 3D i s'han utilitzat com a entrada per a la xarxa de classificació 3D. Tot aquest sistema té com a objectiu estendre la detecció d'objectes a 3D. Pel que a partir d'una captura Kinect d'una pomera, s'obté una detecció de les pomes en 3D.