Clever Geek Handbook

Définition des commentaires toxiques en russe



Aujourd'hui, les médias sociaux sont devenus l'une des principales plateformes de communication en ligne et dans la vie réelle. La liberté d'exprimer différents points de vue, y compris des commentaires toxiques, agressifs et offensants, peut avoir des conséquences négatives à long terme sur les opinions des gens et la cohésion sociale. Par conséquent, l'une des tâches les plus importantes de la société moderne est le développement de moyens de détection automatique d'informations toxiques sur Internet afin de réduire les conséquences négatives.



Cet article explique comment résoudre ce problème pour la langue russe. En tant que source de données, nous avons utilisé un ensemble de données publié de manière anonyme sur Kaggle, en vérifiant en outre la qualité de l'annotation. Pour créer un modèle de classification, nous avons affiné deux versions du codeur de phrase universel multilingue, des représentations d'encodeur bidirectionnel de Transformers et ruBERT. Le modèle personnalisé ruBERT a montré F 1 = 92,20%, c'était le meilleur résultat de classement. Nous avons rendu public les modèles formés et les exemples de code.



1. Introduction



Aujourd'hui, le problème de l'identification des commentaires toxiques est bien résolu grâce à des techniques avancées d'apprentissage en profondeur [1], [35]. Bien que certains travaux étudient directement le sujet de la détection des insultes, des discours toxiques et haineux en russe [2], [8], [17], il n'existe qu'un seul ensemble de données accessible au public avec des commentaires toxiques en russe [5]. Il a été publié sur Kaggle sans aucune explication du processus d'annotation, donc à des fins académiques et pratiques, il peut ne pas être fiable sans une étude approfondie supplémentaire.



Cet article est dédié à la détection automatique des commentaires toxiques en russe. Pour cette tâche, nous avons vérifié l'annotation de l'ensemble de données des commentaires toxiques en russe [5]. Ensuite, un modèle de classification a été créé sur la base de la mise au point des versions multilingues pré-entraînées du Multilingual Universal Sentence Encoder (M-USE) [48], Bidirectional Encoder Representations from Transformers (M-BERT) [13] et ruBERT [22]. Le modèle le plus précis ruBERT-Toxic a montré F 1 = 92,20% dans le problème de classification binaire des commentaires toxiques. Les modèles M-BERT et M-USE résultants peuvent être téléchargés depuis github.



La structure de l'article est la suivante. Dans la section 2nous décrivons brièvement d'autres travaux sur ce sujet, ainsi que les ensembles de données disponibles en russe. Dans la section 3, nous donnons un aperçu général de l'ensemble de données des commentaires toxiques en russe et décrivons le processus de vérification de son annotation. Dans la section 4, nous décrivons le perfectionnement des modèles de langage pour la tâche de classification de texte. Dans la section 5, nous décrivons l'expérience de classification. Enfin, parlons des performances de notre système et des orientations pour les recherches futures.



2. Autres travaux sur le sujet



Un travail approfondi a été effectué pour détecter les commentaires toxiques sur diverses sources de données. Par exemple, Prabowo et ses collègues ont utilisé le classificateur Naive Bayesian Classification (NB), Support Vector Machines (SVM) et Ensemble Decision Trees (RFDT) pour détecter les propos haineux et offensants sur Twitter indonésien [34]. Les résultats expérimentaux ont montré une précision de 68,43% pour l'approche hiérarchique avec les signes des unigrammes de dictionnaire et pour le modèle SVM. Dans les travaux d'une équipe dirigée par Founta [15], un réseau de neurones d'apprentissage en profondeur basé sur GRU avec des plongements GloVe pré-entraînés a été proposé pour la classification des textes toxiques. Le modèle a montré une grande précision sur cinq ensembles de données, avec une AUC allant de 92% à 98%.



De plus en plus de séminaires et de concours sont consacrés à la détection des commentaires toxiques, haineux et offensants. Par exemple, HatEval et OffensEval à SemEval-2019; HASOC au FIRE-2019; Tâche partagée sur l'identification du langage offensif à GermEval-2019 et GermEval-2018; TRAC à COLING-2018. Les modèles utilisés dans les problèmes vont du machine learning traditionnel (par exemple SVM et régression logistique) au deep learning (RNN, LSTM, GRU, CNN, CapsNet, y compris le mécanisme d'attention [45], [49], ainsi que des modèles avancés comme ELMo [31], BERT [13] et USE [9], [48]). Un nombre important d'équipes ayant obtenu de bons résultats [18], [24], [27], [28], [30], [36], [38] ont utilisé des plongements à partir des modèles de langage pré-formés listés.Étant donné que les vues des modèles pré-entraînés se sont bien comportées en classification, elles ont été largement utilisées dans les études ultérieures. Par exemple, des chercheurs de l'Université de Lorraine ont mené une classification binaire multiclasse des messages Twitter en utilisant deux approches: la formation d'un classificateur DNN avec des incorporations de vocabulaire pré-entraîné et un modèle BERT pré-entraîné soigneusement réglé [14]. La deuxième approche a montré des résultats significativement meilleurs par rapport aux réseaux de neurones CNN et bidirectionnels LSTM basés sur les embeddings FastText.en formant un classificateur DNN avec des plongements de vocabulaire pré-entraînés et un modèle BERT pré-entraîné soigneusement réglé [14]. La deuxième approche a montré des résultats significativement meilleurs par rapport aux réseaux de neurones CNN et LSTM bidirectionnels basés sur les embeddings FastText.en formant un classificateur DNN avec des plongements de vocabulaire pré-entraînés et un modèle BERT pré-entraîné soigneusement réglé [14]. La deuxième approche a montré des résultats significativement meilleurs par rapport aux réseaux de neurones CNN et bidirectionnels LSTM basés sur les embeddings FastText.



Bien qu'un nombre important d'études [7], [33], [41] aient été consacrées à l'étude des comportements toxiques et agressifs dans les réseaux sociaux de langue russe, peu d'attention a été accordée à leur classification automatique. Pour déterminer l'agressivité dans les textes en anglais et en russe, Gordeev a utilisé des réseaux de neurones convolutifs et un classificateur de forêt aléatoire (RFC) [17]. L'ensemble des messages annotés comme agressifs contenait environ 1000 messages en russe et à peu près les mêmes en anglais, mais il n'est pas accessible au public. Le modèle CNN formé a montré l'exactitude de la classification binaire des textes en russe de 66,68%. Sur la base de ces résultats, les auteurs ont conclu que les réseaux de neurones convolutifs et les approches d'apprentissage en profondeur sont plus prometteurs pour identifier les textes agressifs.Andruziak et al.ont proposé une approche probabiliste non supervisée avec un vocabulaire source pour classer les commentaires offensants sur YouTube écrits en ukrainien et en russe [2]. Les auteurs ont publié un ensemble de données étiqueté manuellement de 2000 commentaires, mais il contient à la fois des textes russes et ukrainiens, il ne peut donc pas être utilisé directement pour rechercher du texte en russe.



Plusieurs études récentes se sont concentrées sur l'identification automatique des attitudes à l'égard des migrants et des groupes ethniques dans les réseaux sociaux russophones, y compris l'identification des attaques fondées sur l'identité. Bodrunova et ses co-auteurs ont étudié 363 000 publications en russe dans LiveJournal sur le thème des attitudes à l'égard des migrants des républiques post-soviétiques par rapport aux autres nations [8]. Il s'est avéré que dans les blogs en russe, les migrants ne suscitaient pas de discussions significatives et n'étaient pas soumis à un traitement plus défavorable. Dans le même temps, les représentants des nationalités du Caucase du Nord et d'Asie centrale sont traités de manière complètement différente. Un groupe de chercheurs dirigé par Bessudnov a découvert que les Russes sont traditionnellement plus hostiles aux personnes du Caucase et d'Asie centrale; dans le même temps, les Ukrainiens et les Moldaves sont généralement acceptés comme voisins potentiels [6].Et selon les conclusions du collectif dirigé par Koltsova, l'attitude envers les représentants des nationalités d'Asie centrale et des Ukrainiens est la plus négative [19]. Bien que certaines recherches universitaires se soient concentrées sur l'identification des discours toxiques, offensants et haineux, aucun des auteurs n'a rendu ses ensembles de données en russe accessibles au public. Autant que nous le sachions, l'ensemble de données des commentaires toxiques en russe [5] est le seul ensemble de commentaires toxiques en russe dans le domaine public. Cependant, il a été publié sur Kaggle sans décrire le processus de création et d'annotation, donc sans étude détaillée, il n'est pas recommandé pour une utilisation dans des projets académiques et pratiques.Bien que certaines recherches universitaires se soient concentrées sur la définition du discours toxique, offensant et haineux, aucun des auteurs n'a rendu public ses ensembles de données en russe. Autant que nous le sachions, l'ensemble de données des commentaires toxiques en russe [5] est le seul ensemble de commentaires toxiques en russe dans le domaine public. Cependant, il a été publié sur Kaggle sans décrire le processus de création et d'annotation, donc sans étude détaillée, il n'est pas recommandé pour une utilisation dans des projets académiques et pratiques.Bien que certaines recherches universitaires se soient concentrées sur l'identification des discours toxiques, offensants et haineux, aucun des auteurs n'a rendu publics ses ensembles de données en russe. Autant que nous le sachions, l'ensemble de données des commentaires toxiques en russe [5] est le seul ensemble de commentaires toxiques en russe dans le domaine public. Cependant, il a été publié sur Kaggle sans décrire le processus de création et d'annotation, donc sans étude détaillée, il n'est pas recommandé pour une utilisation dans des projets académiques et pratiques.L'ensemble de données de commentaires toxiques en russe [5] est le seul ensemble de commentaires toxiques en russe dans le domaine public. Cependant, il a été publié sur Kaggle sans décrire le processus de création et d'annotation, donc sans étude détaillée, il n'est pas recommandé pour une utilisation dans des projets académiques et pratiques.L'ensemble de données de commentaires toxiques en russe [5] est le seul ensemble de commentaires toxiques en russe dans le domaine public. Cependant, il a été publié sur Kaggle sans décrire le processus de création et d'annotation, donc sans étude détaillée, il n'est pas recommandé pour une utilisation dans des projets académiques et pratiques.



Comme il y a peu de recherches consacrées à la définition des commentaires toxiques en russe, nous avons décidé d'évaluer le travail des modèles d'apprentissage en profondeur sur l'ensemble de données des commentaires toxiques en russe [5]. Nous n'avons connaissance d'aucune étude de classification basée sur cette source de données. Les modèles BERT multilingue et UTILISATION multilingue sont parmi les plus répandus et les plus réussis dans les récents projets de recherche. Et seulement ils soutiennent officiellement la langue russe. Nous avons choisi d'utiliser le réglage fin comme approche de transfert d'apprentissage car dans des études récentes, il a donné les meilleurs résultats de classification [13], [22], [43], [48].



3. Ensemble de données contenant des commentaires toxiques



Set Russian the Language Toxic Comments the Dataset [5] est une collection de commentaires annotés des sites Dvach et Peekaboo . Il a été publié sur Kaggle en 2019 et contient 14412 commentaires, dont 4826 sont étiquetés toxiques et 9586 non toxiques. La longueur moyenne des commentaires est de 175 caractères, le minimum est de 21 et le maximum est de 7 403.



Pour vérifier la qualité de l'annotation, nous avons annoté manuellement certains des commentaires et les avons comparés aux balises d'origine en utilisant l'accord inter-annotateurs. Nous avons décidé de considérer les annotations existantes comme correctes lorsque nous avons atteint un niveau significatif ou élevé de l'accord inter-annotateurs.



Tout d'abord, nous avons marqué manuellement 3000 commentaires et comparé les libellés de classe résultants avec les originaux. Les annotations ont été rédigées par des membres russophones de la plateforme de crowdsourcing Yandex.Toloka, qui a déjà été utilisée dans plusieurs études académiques de textes en russe [10], [29], [32], [44]. Comme guide de balisage, nous avons utilisé les instructions de reconnaissance de la toxicité avec des attributs supplémentaires qui ont été utilisés dans le Jigsaw Toxic Comment Classification Challenge. Il a été demandé aux annotateurs de déterminer la toxicité dans les textes, dont le niveau devait être indiqué pour chaque commentaire. Pour améliorer la précision du balisage et limiter les possibilités de tromperie, nous avons utilisé la technique suivante:



  • Nous avons attribué aux annotateurs un niveau basé sur leurs réponses pour contrôler les tâches et banni ceux qui ont donné des réponses incorrectes.
  • Accès limité aux tâches pour ceux qui répondent trop rapidement.
  • Accès limité aux tâches des sujets, ne saisit pas le bon captcha plusieurs fois de suite.


Chaque commentaire a été annoté par 3-8 annotateurs en utilisant la technique de chevauchement dynamique . Les résultats ont été agrégés en utilisant la méthode Dawid-Skene [12] sur la base des recommandations de Yandex.Toloka. Les annotateurs ont montré un niveau élevé d'accord inter-annotateurs, le coefficient alpha de Kripppendorf était de 0,81. Et le coefficient kappa de Cohen entre l'original et nos étiquettes agrégées était de 0,68, ce qui correspond à un niveau significatif d'accord inter-annotateurs [11]. Par conséquent, nous avons décidé de considérer le balisage de l'ensemble de données comme correct, en particulier compte tenu des différences possibles dans les instructions d'annotation.



4. Modèles d'apprentissage automatique



4.1. Approches de base



Pour les approches de base, nous avons adopté une approche d'apprentissage automatique de base et une approche de réseau neuronal moderne. Dans les deux cas, nous avons effectué une préparation préliminaire: nous avons remplacé l'URL et les surnoms par des mots-clés, supprimé les signes de ponctuation et remplacé les lettres majuscules par des lettres minuscules.



Tout d'abord, nous avons appliqué le modèle multinomial Naive Bayes (MNB), qui s'est bien comporté dans les problèmes de classification de texte [16], [40]. Pour créer le modèle, nous avons utilisé la vectorisation Bag-of-Words et TF-IDF. Le deuxième modèle était le réseau neuronal à mémoire bidirectionnelle à long court terme (BiLSTM). Pour la couche d'incorporation, nous avons pré-formé les incorporations Word2Vec ( dim= 300) [25] basé sur la collection de messages Twitter en russe de RuTweetCorp [37]. Et en plus des incorporations Word2Vec, nous avons ajouté deux couches LSTM bidirectionnelles. Ensuite, nous avons ajouté une couche entièrement connectée cachée et une couche de sortie sigmoïde. Pour réduire le surajustement, nous avons ajouté des couches de régularisation avec du bruit gaussien et des couches d'exclusion (Dropout) au réseau neuronal. Nous avons utilisé l'optimiseur d'Adam avec un taux d'apprentissage initial de 0,001 et une entropie croisée binaire catégorique comme fonction de perte. Le modèle a été formé avec des plongements fixes pendant 10 époques. Nous avons essayé de déverrouiller les intégrations à différentes époques tout en réduisant le taux d'apprentissage, mais les résultats étaient pires. La raison était probablement la taille de l'ensemble d'entraînement [4].



4.2. Modèle BERT



Deux versions du modèle multilingue BERT BASE sont désormais officiellement disponibles , mais seule la version Cased est officiellement recommandée. BERT BASE prend une séquence de 512 jetons au maximum et renvoie sa représentation. La tokenisation est effectuée en utilisant WordPiece [46] avec une normalisation préliminaire du texte et une séparation de ponctuation. Des chercheurs du MIPT ont formé BERT BASE Cased et publié ruBERT - un modèle pour la langue russe [22]. Nous avons utilisé les deux modèles - BASE BERT multilingueCased et ruBERT, qui contiennent 12 blocs de transformation séquentielle, ont une taille cachée de 768, contiennent 12 têtes d'auto-attention et 110 millions de paramètres. L'étape de réglage fin a été réalisée avec les paramètres recommandés de [43] et du référentiel officiel : trois époques d'apprentissage, 10% d'étapes d'échauffement, longueur de séquence maximale 128, taille de paquet 32, taux d'apprentissage 5e-5.



4.3. Modèle MUSE



USE Trans prend une séquence de pas plus de 100 jetons comme entrée , et Multilingual USE CNN prend une séquence de pas plus de 256 jetons. La tokenisation SentencePiece [20] est utilisée pour toutes les langues prises en charge. Nous avons utilisé un USE Trans multilingue pré-entraîné , qui prend en charge 16 langues, dont le russe, contient un encodeur-convertisseur avec 6 couches de transformation, 8 blocs de tête d'attention, a une taille de filtre de 2048, une taille cachée de 512. Nous avons également utilisé un CNN USE multilingue pré-formé qui prend en charge 16 langues, dont le russe, contient un encodeur CNN avec deux couches CNN, une largeur de filtre (1, 2, 3, 5), une taille de filtre. Pour les deux modèles, nous avons utilisé les paramètres recommandés avecPages TensorFlow Hub : 100 époques d'apprentissage, taille de lot 32, taux d'apprentissage 3e-4.



5. Expérience



Nous avons comparé les approches de base et de transfert d'apprentissage:



  • Classificateur multinomial Naive Bayes;
  • mémoire bidirectionnelle à long terme (BiLSTM);
  • version multilingue des représentations d'encodeur bidirectionnel à partir de transformateurs (M-BERT);
  • ruBERT;
  • deux versions de Multilingual Universal Sentence Encoder (M-USE).


La qualité de la classification des modèles entraînés sur l'ensemble de test (20%) est indiquée dans le tableau. Tous les modèles de langage réglés ont dépassé les niveaux de référence en termes de précision, de rappel et de mesure F 1 . ruBERT a montré F 1 = 92,20%, c'est le meilleur résultat.



Classification binaire des commentaires toxiques en russe:



Système P R F 1
MNB 87,01 % 81,22 % 83,21 %
BiLSTM 86,56 % 86,65 % 86,59 %
M − BERTBASE − Toxic 91,19 % 91,10 % 91,15 %
ruBert − Toxic 91,91 % 92,51 % 92,20 %
M − USECNN − Toxic 89,69 % 90,14% 89,91 %
M − USETrans − Toxic 90,85 % 91,92 % 91,35 %


6.



Dans cet article, nous avons utilisé deux versions affinées du codeur de phrase universel multilingue [48], les représentations d'encodeur bidirectionnel multilingue de Transformers [13] et ruBERT [22] pour identifier les commentaires toxiques en russe. Tuned rubert Toxic a montré que F 1 = 92,20%, est le meilleur résultat de classification.



Les modèles M-BERT et M-USE résultants sont disponibles sur github.



Sources littéraires



liste
  1. Aken, B. van et al.: Challenges for toxic comment classification: An in-depth error analysis. In: Proceedings of the 2nd workshop on abusive language online (ALW2). pp. 33–42. Association for Computational Linguistics, Brussels, Belgium (2018).
  2. Andrusyak, B. et al.: Detection of abusive speech for mixed sociolects of russian and ukrainian languages. In: The 12th workshop on recent advances in slavonic natural languages processing, RASLAN 2018, karlova studanka, czech republic, december 7–9, 2018. pp. 77–84 (2018).
  3. Basile, V. et al.: SemEval-2019 task 5: Multilingual detection of hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 54–63. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  4. Baziotis, C. et al.: DataStories at SemEval-2017 task 4: Deep LSTM with attention for message-level and topic-based sentiment analysis. In: Proceedings of the 11th international workshop on semantic evaluation (SemEval-2017). pp. 747–754. Association for Computational Linguistics, Vancouver, Canada (2017).
  5. Belchikov, A.: Russian language toxic comments, https://www.kaggle.com/ blackmoon/russian-language-toxic-comments.
  6. Bessudnov, A., Shcherbak, A.: Ethnic discrimination in multi-ethnic societies: Evidence from russia. European Sociological Review. (2019).
  7. Biryukova, E. V. et al.: READER’S comment in on-line magazine as a genre of internet discourse (by the material of the german and russian languages). Philological Sciences. Issues of Theory and Practice. 12, 1, 79–82 (2018).
  8. Bodrunova, S. S. et al.: Who’s bad? Attitudes toward resettlers from the post-soviet south versus other nations in the russian blogosphere. International Journal of Communication. 11, 23 (2017).
  9. Cer, D. M. et al.: Universal sentence encoder. ArXiv. abs/1803.11175, (2018).
  10. Chernyak, E. et al.: Char-rnn for word stress detection in east slavic languages. CoRR. abs/1906.04082, (2019).
  11. Cohen, J.: A coefficient of agreement for nominal scales. Educational and psychological measurement. 20, 1, 37–46 (1960).
  12. Dawid, A. P., Skene, A. M.: Maximum likelihood estimation of observer errorrates using the em algorithm. Journal of the Royal Statistical Society: Series C (Applied Statistics). 28, 1, 20–28 (1979).
  13. Devlin, J. et al.: BERT: Pre-training of deep bidirectional transformers for language understanding. In: Proceedings of the 2019 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 4171–4186. Association for Computational Linguistics, Minneapolis, Minnesota (2019).
  14. d’Sa, A. G. et al.: BERT and fastText embeddings for automatic detection of toxic speech. In: SIIE 2020-information systems and economic intelligence. (2020).
  15. Founta, A. M. et al.: A unified deep learning architecture for abuse detection. In: Proceedings of the 10th acm conference on web science. pp. 105–114. Association for Computing Machinery, New York, NY, USA (2019).
  16. Frank, E., Bouckaert, R.: Naive bayes for text classification with unbalanced classes. In: Fürnkranz, J. et al. (eds.) Knowledge discovery in databases: PKDD 2006. pp. 503–510. Springer Berlin Heidelberg, Berlin, Heidelberg (2006).
  17. Gordeev, D.: Detecting state of aggression in sentences using cnn. In: International conference on speech and computer. pp. 240–245. Springer (2016).
  18. Indurthi, V. et al.: FERMI at SemEval-2019 task 5: Using sentence embeddings to identify hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 70–74. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  19. Koltsova, O. et al.: FINDING and analyzing judgements on ethnicity in the russian-language social media. AoIR Selected Papers of Internet Research. (2017).
  20. Kudo, T., Richardson, J.: SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In: Proceedings of the 2018 conference on empirical methods in natural language processing: System demonstrations. pp. 66–71. Association for Computational Linguistics, Brussels, Belgium (2018).
  21. Kumar, R. et al. eds: Proceedings of the first workshop on trolling, aggression and cyberbullying (TRAC-2018). Association for Computational Linguistics, Santa Fe, New Mexico, USA (2018).
  22. Kuratov, Y., Arkhipov, M.: Adaptation of deep bidirectional multilingual transformers for Russian language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 333–340. RSUH, Moscow, Russia (2019).
  23. Lenhart, A. et al.: Online harassment, digital abuse, and cyberstalking in america. Data; Society Research Institute (2016).
  24. Liu, P. et al.: NULI at SemEval-2019 task 6: Transfer learning for offensive language detection using bidirectional transformers. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 87–91. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  25. Mikolov, T. et al.: Distributed representations of words and phrases and their compositionality. In: Proceedings of the 26th international conference on neural information processing systems—volume 2. pp. 3111–3119. Curran Associates Inc., Red Hook, NY, USA (2013).
  26. Mishra, P. et al.: Abusive language detection with graph convolutional networks. In: Proceedings of the 2019 conference of the north american chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 2145–2150 (2019).
  27. Mishra, S., Mishra, S.: 3Idiots at HASOC 2019: Fine-tuning transformer neural networks for hate speech identification in indo-european languages. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 208–213 (2019).
  28. Nikolov, A., Radivchev, V.: Nikolov-radivchev at SemEval-2019 task 6: Offensive tweet classification with BERT and ensembles. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 691–695. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  29. Panchenko, A. et al.: RUSSE’2018: A Shared Task on Word Sense Induction for the Russian Language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 547–564. RSUH, Moscow, Russia (2018).
  30. Paraschiv, A., Cercel, D.-C.: UPB at germeval-2019 task 2: BERT-based offensive language classification of german tweets. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 396–402 (2019).
  31. Peters, M. et al.: Deep contextualized word representations. In: Proceedings of the 2018 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long papers). pp. 2227–2237. Association for Computational Linguistics, New Orleans, Louisiana (2018).
  32. Ponomareva, M. et al.: Automated word stress detection in Russian. In: Proceedings of the first workshop on subword and character level models in NLP. pp. 31–35. Association for Computational Linguistics, Copenhagen, Denmark (2017).
  33. Potapova, R., Komalova, L.: Lexico-semantical indices of «deprivation–aggression» modality correlation in social network discourse. In: International conference on speech and computer. pp. 493–502. Springer (2017).
  34. Prabowo, F. A. et al.: Hierarchical multi-label classification to identify hate speech and abusive language on indonesian twitter. In: 2019 6th international conference on information technology, computer and electrical engineering (icitacee). pp. 1–5 (2019).
  35. Risch, J., Krestel, R.: Toxic comment detection in online discussions. In: Deep learning-based approaches for sentiment analysis. pp. 85–109. Springer (2020).
  36. Risch, J. et al.: HpiDEDIS at germeval 2019: Offensive language identification using a german bert model. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 403–408 (2019).
  37. Rubtsova, Y.: A method for development and analysis of short text corpus for the review classification task. Proceedings of conferences Digital Libraries: Advanced Methods and Technologies, Digital Collections (RCDL’2013). Pp. 269–275 (2013).
  38. Ruiter, D. et al.: LSV-uds at HASOC 2019: The problem of defining hate. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 263–270 (2019).
  39. Sambasivan, N. et al.: «They don’t leave us alone anywhere we go»: Gender and digital abuse in south asia. In: Proceedings of the 2019 chi conference on human factors in computing systems. Association for Computing Machinery, New York, NY, USA (2019).
  40. Sang-Bum Kim et al.: Some effective techniques for naive bayes text classification. IEEE Transactions on Knowledge and Data Engineering. 18, 11, 1457–1466 (2006).
  41. Shkapenko, T., Vertelova, I.: Hate speech markers in internet comments to translated articles from polish media. Political Linguistics. 70, 4, Pages 104–111 (2018).
  42. Strus, J. M. et al.: Overview of germeval task 2, 2019 shared task on the identification of offensive language. Presented at the (2019).
  43. Sun, C. et al.: How to fine-tune bert for text classification? In: Sun, M. et al. (eds.) Chinese computational linguistics. pp. 194–206. Springer International Publishing, Cham (2019).
  44. Ustalov, D., Igushkin, S.: Sense inventory alignment using lexical substitutions and crowdsourcing. In: 2016 international fruct conference on intelligence, social media and web (ismw fruct). (2016).
  45. Vaswani, A. et al.: Attention is all you need. In: Proceedings of the 31st international conference on neural information processing systems. pp. 6000–6010. Curran Associates Inc., Red Hook, NY, USA (2017).
  46. Wu, Y. et al.: Google’s neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144. (2016).
  47. Yang, F. et al.: Exploring deep multimodal fusion of text and photo for hate speech classification. In: Proceedings of the third workshop on abusive language online. pp. 11–18. Association for Computational Linguistics, Florence, Italy (2019).
  48. Yang, Y. et al.: Multilingual universal sentence encoder for semantic retrieval. CoRR. abs/1907.04307, (2019).
  49. Yang, Z. et al.: Hierarchical attention networks for document classification. In: Proceedings of the 2016 conference of the north American chapter of the association for computational linguistics: Human language technologies. pp. 1480–1489. pp. Association for Computational Linguistics, San Diego, California (2016).


More articles:


All Articles