The main goal of this project is to train a deep learning network to find fruits in 3D point clouds of trees.

The fields of fruits crops are under constant pressure to increase the production and the quality required by the population. For this reason, farmers need to find new ways to improve the productivity of fruits and reduce the economic and environmental costs. The aim of this project is to do a semantic detection and classification to detect apples. A 3D point clouds database of apple trees has been obtained from Kinect cameras. First, bounding boxes have been created. Some of them contain one apple and others without apples. These bounding boxes have been trained in a classification network in which only RGB coordinates have been introduced. An accuracy of 99% has been obtained. Then, another experiment has been carried out. With the same database of apple trees, a semantic segmentation has been trained. In this case the accuracy obtained has been 86%. These experiments have been based on the paper: PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation and its corresponding project.

Los campos dedicados al conreo de frutas están bajo presión constante para augmentar la producción y la calidad demandada por la población. Es por eso, que los agricultores necesitan encontrar nuevas formas de mejorar la productividad de frutas y, a la vez, reducir los costes económicos y ambientales. A partir de una base de datos en nube de puntos 3D de manzanos hecha a partir de cameras Kinect, se ha creado este proyecto para hacer una detección semántica y una clasificación para poder detectar las manzanas. Para empezar, se han creado cuadros de delimitadores que contengan una manzana y otros que no contengan ninguna y se han entrenado con el algoritmo de clasificación. Entrándole solamente las características RGB, se ha obtenido una precisión de más del 99%. A continuación, después de obtener tan buenos resultados, se ha decidido hacer una segmentación semántica, es decir, se ha detectado punto por punto si correspondía a un punto que pertenece a una manzana o no. Con este último experimento se ha logrado una precisión de más del 86%. Estos experimentos se han hecho con la ayuda de la red PointNet propuesta en el artículo: PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation.

Els camps dedicats al conreu de fruites estan sota una pressió constant per augmentar la producció i la qualitat que demanda la població. Per això, els agricultors necessiten trobar noves maneres de millorar la productivitat de les fruites i, alhora, reduir els costos econòmics i ambientals. A partir d?una base de dades en núvols de punts 3D de pomers aconseguida a partir de càmeres Kinect, s?ha creat aquest projecte per fer una detecció semàntica i una classificació per tal de poder detectar les pomes. Primer de tot, s?han creat quadres delimitadors que contenen poma i altres que no i s?han entrenat a la xarxa de classificació. Entrant-hi només les coordenades RGB s?ha aconseguit una precisió de més del 99%. A continuació, després d?obtenir aquests bons resultats, s?ha decidit fer una segmentació semàntica, és a dir, s?ha detectat punt per punt si aquests corresponien a un punt de poma o no i s?han classificat. Amb aquest últim experiment s?ha obtingut una precisió de més del 86%. Aquests experiments s?han fet amb l?ajuda de la xarxa PointNet proposada en l?article: PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation.