ContentID: detecção de discurso de ódio em memes: projeto I

Abstract

Memes são uma forma viral de transmissão de ideias em redes sociais, embora muitas vezes estas ideias contenham discursos de ódio, que devem ser combatidos. A detecção automática de discurso de ódio em memes é uma tarefa apropriada para modelos de ML, visto que o volume de memes criados e divulgados supera vastamente a capacidade de classificação humana. No presente trabalho foi feita uma análise do estado da arte no âmbito de classificação multimodal, que analisou os modelos utilizados em competições que tivessem objetivo semelhante ao tema do tópico deste trabalho, ou seja, classificação multimodal de memes em discurso de ódio ou não. A escolha de pesquisar por modelos em competições visava padronizar a comparação de modelos, já que estão treinados nos mesmos datasets, além de facilitar a obtenção dos datasets utilizados. As competições consideradas foram SemEval, CASE e Facebook Hateful Memes Challenge (FHMC). A análise destes concursos demonstra que certos modelos podem ter performance próxima à baseline humana, a depender do dataset utilizado e dos modelos de ML. Nossa análise indicou que a maior parte dos artigos contou com modelos classificadores baseados em BERT. Optou-se por utilizar o modelo multimodal VisualBERT com tokenizadores pré treinados para o texto e com o Resnet50 como extrator de visual embeddings das imagens por conta da facilidade de uso e ampla adoção em tarefas semelhantes. Ao final, fomos capazes de verificar que um modelo construído desta forma é capaz de aprender a distinguir memes contendo discurso de ódio de memes normais. Os resultados também indicam que a pipeline utilizada na produção deste modelo é um caminho viável para a produção de um modelo mais robusto, que pode produzir resultados comparáveis com os obtidos nos concursos estudados. Abstract: Memes are a viral form of idea transmission on social networks, although these ideas often carry hate speech that must be countered. The automatic detection of hate speech in memes is a suitable task for machine learning (ML) models, since the volume of memes created and shared vastly exceeds the capacity of human classification. In this work, we conducted a state-of-the-art analysis in the field of multimodal classification, focusing on models used in competitions with objectives similar to the theme of this study, namely, the multimodal classification of memes into hate speech or non-hate speech. The choice to investigate competition models aimed to standardize the comparison of approaches, as they are trained on the same datasets, in addition to facilitating access to those datasets. The competitions considered were SemEval, CASE, and the Facebook Hateful Memes Challenge (FHMC). The analysis of these contests shows that certain models can achieve performance close to the human baseline, depending on the dataset used and the ML model adopted. Our review indicated that most of the works employed classifier models based on BERT. For our experiments, we chose to use the multimodal VisualBERT model with pre trained tokenizers for text and ResNet50 as the visual embedding extractor for images, due to their ease of use and wide adoption in similar tasks. In the end, we were able to verify that a model built in this way is capable of learning to distinguish memes containing hate speech from normal memes. The results also suggest that the pipeline employed in this model’s development provides a viable path for producing a more robust system, capable of delivering results comparable to those optained in the competitions studied.