|
Title:
|
SaltiNet: scan-path prediction on 360 degree images using saliency volumes
|
|
Author:
|
Assens, Marc; Giró Nieto, Xavier; McGuinness, Kevin; O'Connor, Noel
|
|
Other authors:
|
Universitat Politècnica de Catalunya. Departament de Teoria del Senyal i Comunicacions; Universitat Politècnica de Catalunya. GPI - Grup de Processament d'Imatge i Vídeo |
|
Abstract:
|
We introduce SaltiNet, a deep neural network for scan-path prediction trained on 360-degree images. The model is based on a temporal-aware novel representation of saliency information named the saliency volume. The first part of the network consists of a model trained to generate saliency volumes, whose parameters are fit by back-propagation computed from a binary cross entropy (BCE) loss over downsampled versions of the saliency volumes. Sampling strategies over these volumes are used to generate scan-paths over the 360-degree images. Our experiments show the advantages of using saliency volumes, and how they can be used for related tasks. Our source code and trained models available at https://github.com/massens/saliency-360salient-2017. |
|
Abstract:
|
Peer Reviewed |
|
Subject(s):
|
-Àrees temàtiques de la UPC::Informàtica::Intel·ligència artificial::Representació del coneixement
-Àrees temàtiques de la UPC::Enginyeria de la telecomunicació::Processament del senyal::Processament de la imatge i del senyal vídeo
-Image processing--Digital techniques
-Artificial vision
-Artificial intelligence
-Neural networks (Computer science)
-Computer vision
-saliency prediction
-scanpath
-eye gaze
-computer vision
-deep learning
-convolutional neural networks
-Imatges -- Processament -- Tècniques digitals
-Visió artificial (Robòtica)
-Visió per ordinador
-Intel·ligència artificial
-Xarxes neuronals (Informàtica) |
|
Rights:
|
|
|
Document type:
|
Article - Published version
Conference Object |
|
Published by:
|
IEEE Press
|
|
Share:
|
|
