Memes are multimedia documents that combine visual and textual information with a high affective content. In some cases they are used to spread hate messages that attack human rights. An automatic detection of their spread through social networks may provide valuable insights to social workers and human rights activists to fight their spread.

This thesis explores a multimodal approach to Hate Speech detection, involving vision and language (text). More specifically, we deal with the context of memes, a form of internet humour which will present additional challenges. We first gather meme data from different sources. This way, we create a hate memes dataset for this task. Then, we use this data for the training and evaluation of statistical models, which are based on state-of-the art neural networks. We study different ways to fine-tune pretrained descriptors for our specific task. We propose a way to add expert knowledge into the system and orient it into a real world issue-solving system. We also discuss ways to deal with the issue of reduced amount of data, experimenting with a self-supervised learning approach for pre-training. We also compare the effect or contribution of each modality in the overall performance of the model.

Esta tesis explora un enfoque multimodal para la detección automática del Discurso de Odio, usando vision y lenguage (texto). Concretamente, tratamos con el contexto de los memes, una forma de humor presente en Internet, que presenta desafios adicionales. Primero, recojemos datos de distintas fuentes. De esta forma, vamos a generar una base de datos de memes de odio para esta tarea. Entonces, vamos a usar estos datos para entrenar y evaluar modelos estadísticos, que van a estar basados en redes neuronales del estado del arte. Estudiamos distintas formas de adaptar descriptores de imagen y texto para nuestra tarea. Proponemos una forma de añadir conocimiento de experto al sistema y orientar-lo hacia resolver un problema real. También hablamos de maneras de tratar con el problema de disponer de pocos datos y esperimentamos con enfoques de aprenentage auto-supervisado para un pre-entreno de la red. También comparamos la aportación o efecto de cada modalidad sobre el rendimento del modelo.

Aquesta tesi exposa un enfocament multimodal a la detecció del Discurs d'Odi, fent servir imatge i llenguatge (text). Concretament, tractem amb el context dels mems, una forma d'humor present a internet, que presentarà reptes adicionals. Primerament, recolectem dades de diferents fonts. D'aquesta manera, generem una base de dades de mems d'odi per aquesta tasca. Aleshores. fem servir aquestes dades per entrenar i evaluar models estadístics, que estaran basats en xarxes neuronals de l'estat de l'art. Estudiem diferents formes de adaptar els descriptors d'imatge i text per a la nostra tasca específica. Proposem una manera d'afegir coneixement d'expert al sistema i orentar-ho cap a un sistema per a resoldre un problema real. També parlem de maneres de tractar amb el problema de disposar de poques dades i experimentem amb enfocaments d'aprenentatge auto-supevisat per un pre-entrenament. També comparem l'efecte o contribució de cada modalitat sobre el rendiment del model.