Analyse des sentiments dans les textes en russe, partie 3: défis et perspectives

L'analyse des sentiments a été utilisée avec succès pour les médias sociaux, les critiques, les actualités et même les manuels. Sur la base des recherches clés pour la langue russe décrites dans un article précédent , nous examinons ici les principaux défis auxquels sont confrontés les chercheurs, ainsi que les directions prometteuses pour l'avenir. Contrairement aux travaux précédents, je me suis concentré sur les applications appliquées, et non sur les approches elles-mêmes et leur qualité de classification.

NB: l'article a été écrit pour une revue scientifique, il y aura donc de nombreux liens vers des sources.

1. Appels en cours

Sur la base de l'analyse des articles de recherche, dix problèmes communs ont été identifiés. En général, les chercheurs sont généralement confrontés à de multiples défis, notamment l'accès à des données historiques et des données d'entraînement représentatives, ainsi que l'annotation des émotions, la description exhaustive des limites de la recherche et l'extraction de sujets à partir de textes.

1.1. Accès à des données historiques représentatives dans les sources analysées

Les données historiques - telles que les publications et les critiques - collectées via des API sources ou des plates-formes d'agrégation sont souvent utilisées et analysées dans la recherche de sentiments. Parfois, les développeurs d'API ne fournissent qu'un accès partiel aux données publiées. Par exemple, l'API principale de Twitter suit une politique selon laquelle seule l'API Twitter historique donne accès à toutes les publications ouvertes. Quant aux plateformes d'agrégation, même si elles affirment avoir un accès complet aux données d'une source particulière, cela est impossible à vérifier. Par conséquent, il n'y a que deux façons de garantir que les données sont représentatives de l'enquête:

1. API , . , API .
2. . , OK Data Science Lab [98].

1.2.

Bien que le russe soit l'une des sources les plus parlées sur Internet, le nombre de sources qu'il contient est nettement inférieur à celui de l'anglais, en particulier dans le domaine de l'analyse des sentiments. Bien que de nombreuses études aient été consacrées à la classification des émotions dans les textes en russe, seuls les auteurs de certains d'entre eux ont rendu leurs ensembles de données accessibles au public. Si aucun des ensembles disponibles ne peut être appliqué au sujet de recherche, les auteurs marquent les ensembles de formation manuellement. Après avoir analysé les sources littéraires et les œuvres scientifiques [142], [173], j'ai identifié et décrit 14 ensembles de données accessibles au public pour analyser le sentiment des textes en russe (voir le tableau 2). Je n'ai considéré que les kits accessibles conformément aux instructions décrites dans les articles scientifiques pertinents ou sur les sites officiels. À cet égard, ils ne figuraient pas sur la liste,par exemple, les ensembles ROMIP [174], [175], car il n'était pas possible d'accéder aux données via leur site officiel.



Tableau 2. Ensembles de données en russe pour l'analyse des sentiments.

1.3. .

En utilisant des systèmes d'analyse tiers tels que SentiStrength [22], les algorithmes de Medialogy ou POLYARNIK [107], les auteurs n'écrivent généralement pas sur la qualité de la classification sur les textes analysés, il devient donc difficile de vérifier l'exactitude des résultats de la recherche. Je suppose que l'utilisation de solutions tierces est également due au fait que les chercheurs n'ont pas annoté des ensembles de test de textes pour le calcul des métriques de classification. Cependant, il semble que l'introduction de cette étape augmentera considérablement la valeur scientifique du travail. Par conséquent, je recommande vivement aux auteurs d'annoter manuellement les échantillons de données cibles pour mesurer les métriques de classification dans l'analyse des sentiments.

1.4. Extraction de sujets à partir de textes

Pour extraire des sujets, la plupart des études utilisent des techniques de modélisation de sujets. Mais si la part des textes liés au sujet d'intérêt est significativement inférieure à 1%, alors la modélisation de sujets ne permettra pas de travailler avec l'extraction de sujets [54]. De plus, la modélisation thématique démontre une faible précision lors de l'analyse de textes courts, surtout s'ils représentent un discours de tous les jours [54]. Par conséquent, des approches plus précises et moins dépendantes du bruit doivent être développées.

1.5. Guides d'annotation de sentiment pour le balisage manuel.

Étant donné que les kits de formation en russe sur des sujets d'intérêt ne sont pas toujours disponibles, les chercheurs annotent généralement les textes à la main. Sans une description du manuel et d'autres détails du processus d'annotation, il est difficile de valider la qualité du balisage pour un ensemble de données. Des instructions étape par étape claires et simples sont essentielles pour obtenir des annotations de haute qualité de la part de linguistes certifiés et d'évaluateurs non linguistiques [176]. Certains types de textes sont particulièrement difficiles à annoter la tonalité, par exemple, l'état émotionnel du locuteur, la communication neutre d'informations précieuses, le sarcasme, le ridicule et autres [162].



À titre d'exemple de guide pour l'annotation des sentiments pour la langue russe, d'autres recherches peuvent utiliser des lignes directrices développées avec l'annotation de RuSentiment [142]. Si vous n'avez pas de linguistes certifiés pour l'annotation, vous pouvez utiliser l'aide des évaluateurs de Yandex.Toloka, une plate-forme de crowdsourcing pour l'annotation manuelle des données. Il a déjà été utilisé dans plusieurs études académiques de textes en russe [177] - [180]. Il est également fortement recommandé de publier les accords entre annotateurs, tels que le kappa de Fleiss [181] ou l'alpha de Krippendorff [182], ainsi que d'autres détails sur le processus d'annotation.

1.6 Description complète des limites

La plupart des articles analysés fournissent des listes incomplètes de restrictions. Outre les limites techniques et méthodologiques, il est fortement recommandé de décrire:

• La prévalence d'Internet dans le pays. L'une des limites critiques, car certains groupes de personnes ne seront pas couverts par l'étude. Selon les résultats des sondages Omnibus GFK en décembre 2018 [9], la prévalence d'Internet en Russie a atteint 75,4%, il est utilisé par 90 millions de Russes âgés de 16 ans et plus. L'utilisation d'Internet par les jeunes (16-29 ans) et les personnes d'âge moyen (20-54 ans) est proche des niveaux de saturation - 99% et 88%, respectivement. Mais malgré une augmentation significative de la prévalence, seulement 36% des personnes de plus de 55 ans utilisent Internet.
• . , [183]. , . , . , , , , .
• . , , . , , . , , , , ; ; ; , , , , ; . , . , .
• . Freedom House 2018- [184], 53 65. 2012- , IP-, URL. 2019- . , , . , , .

1.7. .

Étant donné que les gens peuvent exprimer leurs opinions sur un grand nombre de sujets, l'analyse de toutes ces opinions peut demander beaucoup de ressources, car les ensembles de formation doivent être annotés pour chaque sujet [186]. L'absence de collections annotées de textes pour la formation de modèles d'analyse des sentiments sur tous les thèmes conduit à une diminution de la précision de l'analyse. Selon une étude [187], il existe trois problèmes importants dans l'analyse inter-thématique. Les opinions exprimées dans le contexte d'un sujet peuvent être renversées dans le contexte d'un autre sujet. Le deuxième problème concerne les différences entre les vocabulaires des émotions pour différents sujets qui doivent être pris en compte dans l'analyse. Et enfin, il est raisonnable d'attribuer un marqueur de la force de l'émotion à chaque jeton du dictionnaire des émotions.

1.8. Définition du sarcasme et de l'ironie

La communication en ligne contient souvent des phrases sarcastiques et ironiques [188] que même les humains ne sont pas toujours faciles à reconnaître, et encore moins des algorithmes de traitement du langage naturel. Jusqu'à présent, très peu de recherches [189] ont été consacrées à la définition de l'ironie et du sarcasme dans la langue russe. Par conséquent, pour le traitement correct d'un large éventail d'opinions, il est nécessaire de développer et d'appliquer davantage d'approches avec une classification automatique des techniques vocales complexes.

1.9. Définition des bots

Les robots ont un impact important sur divers aspects des médias sociaux, en particulier lorsqu'ils constituent la majorité des utilisateurs. Ils peuvent être utilisés pour diverses tâches malveillantes liées à l'opinion publique. Par exemple, pour gonfler la popularité des célébrités ou diffuser de fausses informations sur les politiciens [190]. En conséquence, des méthodes de détection de bots doivent être développées et appliquées dans les études de sentiment.

1.10. Efficacité des résultats d'analyse

Il existe encore un désaccord considérable sur l'efficacité de la mesure des réponses grâce à l'analyse automatique des données sur le Web. Plusieurs études [191], [192] estiment que les approches des médias sociaux sont moins précises que la recherche traditionnelle. D'autres affirment [193] que ces approches présentent de meilleures performances que les méthodes traditionnelles. Par conséquent, il est fortement recommandé, si possible, de comparer les résultats de l'étude avec les résultats obtenus à l'aide d'autres méthodes.

2. Domaines de recherche prometteurs

Après avoir examiné la littérature, j'ai identifié sept opportunités de recherche future.



Dans l'ensemble, les recherches futures devraient examiner attentivement les approches de surveillance des sentiments présentées dans cet article afin d'identifier les synergies potentielles entre les approches individuelles pour une analyse plus complète des sentiments exprimés dans différentes sources de texte.

2.1 Apprendre avec le transfert de connaissances des modèles de langage

La plupart des travaux utilisent des approches d'apprentissage automatique simples ou basées sur des règles. Seules deux études [69], [72] ont utilisé des réseaux de neurones. Cependant, des travaux récents ont montré que l'apprentissage avec le transfert de connaissances à partir de modèles de langage pré-formés peut résoudre efficacement les problèmes de classification des émotions, en obtenant de bons résultats avec confiance [43], [194] - [198].



Ainsi, l'utilisation de modèles de langage affinés peut améliorer considérablement la qualité de l'analyse des sentiments, et donc améliorer la précision des résultats de la surveillance des sentiments. La recherche initiale a été menée dans [199], dont les auteurs ont formé un réseau de neurones convolutif peu profond et large avec ELMo-embeddings [42] et ont obtenu de nouvelles métriques de classification d'enregistrement sur l'ensemble de données RuSentiment [142], surpassant toutes les approches de réseau de neurones précédentes. Dans un premier temps dans cette direction, les chercheurs pourraient former et publier des taux de transfert d'apprentissage de base pour différents ensembles de textes en russe.

2.2. Analyse des sentiments de textes multilingues

La Russie est un pays multinational, et donc multilingue. Par conséquent, différentes personnes et groupes de personnes peuvent exprimer leurs opinions dans différentes langues. Les linguistes comptent plus de 150 langues en Russie, en commençant par le russe, qui est parlé par 96,25% de la population, et en terminant par le négidal, qui est parlé par plusieurs centaines de personnes dans la région de l'Amour. Plusieurs études ont analysé des textes en plusieurs langues, permettant aux auteurs de couvrir un plus large éventail de sources et de comparer les expressions d'opinion sur le même sujet dans différentes langues.



Pour classer les émotions dans différentes langues, certains chercheurs ont traduit tous les textes dans une seule langue et ont effectué une analyse des sentiments monolingues (par exemple, [72]). D'autres ont développé des modèles de classification multilingues (par exemple, [79]). En tant que développement de cette dernière approche, les chercheurs peuvent utiliser des modèles de langage pré-formés, par exemple, Bidirectional Encoder Representations from Transformers [43] et Multilingual Universal Sentence Encoder [198].

2.3. Extraction de textes de sujets généraux

Dans la plupart des études de modélisation de cas, les auteurs n'ont sélectionné que quelques sujets pour l'extraction et l'analyse future. Cependant, cette approche ne permet pas d'extraire des sujets pertinents à partir de grands ensembles de texte, par exemple, lorsque la part de texte liée à des sujets d'intérêt est bien inférieure à 1% [54]. De plus, la modélisation thématique démontre une faible précision dans l'analyse de textes courts, surtout s'il s'agit de discours de tous les jours [54]. La tâche d'extraction de sujets peut être réduite non seulement à la modélisation de sujets, mais également au problème de la classification de texte, si un ensemble complet de données de formation sur l'extraction de sujets généraux est disponible.



La création d'un tel jeu de données apparaît comme un processus chronophage et gourmand en ressources dans le cas d'une approche basique avec annotation avec une équipe de linguistes ou crowdsourcing. Cependant, certaines plateformes de médias sociaux offrent aux utilisateurs la possibilité de marquer leurs publications, telles que Reddit et Pikabu. Cela signifie que les utilisateurs de ces réseaux sociaux prennent en charge le processus d'annotation.Par conséquent, avec une vérification supplémentaire, ces données peuvent potentiellement être utilisées pour créer un ensemble de formation pour extraire des sujets généraux à partir de messages.

2.4. J'aime et autres types de réaction au contenu comme moyen indirect d'exprimer des émotions

Dans la plupart des études, les opinions exprimées n'étaient évaluées que par le contenu des publications. Cependant, les likes et autres types de réactions aux messages peuvent être une source d'émotions exprimées par les lecteurs. Par conséquent, ces informations peuvent être prises en compte lors du suivi du sentiment. Dans l'étude [200], des travaux préliminaires ont été menés sur l'étude de la relation entre l'affichage des likes et des émotions à propos de la publication: les chercheurs ont étudié le rôle du contenu des publications, la relation entre l'auteur de la publication et la personnalité de l'utilisateur. Sur la base de recherches en ligne, les auteurs affirment que les publications avec des émotions positives sont généralement automatiquement aimées sans lecture attentive. Il a également été noté que la positivité des publications est en corrélation avec des motifs relatifs et littéraux.En plus du simple bouton J'aime, certaines plateformes de médias sociaux ont introduit une fonctionnalité réactive pour permettre aux utilisateurs de montrer facilement leur réaction émotionnelle à un message. Par exemple, l'ensemble de réactions de Facebook se compose de Like, Love, Wow, Haha, Angry et Sad.



Dans leur étude des stimuli émotionnels dans le comportement réactionnaire des utilisateurs de Facebook russophones, Smolyarova et al. [201] montrent que la réaction d'Amour est généralement utilisée de manière directe, devenant une alternative au Like traditionnel. À l'inverse, un message qui déclenche une réaction Wow est susceptible d'être également signalé avec d'autres émotions. Des réactions telles que Love, Haha et Wow ont tendance à décourager le désir d'interagir davantage avec les messages par le biais de commentaires ou d'un bouton de partage [202]. Ainsi, un domaine de recherche potentiellement important est la relation entre la réaction, l'humeur des gens et l'humeur de la publication, qui peut être utilisée à l'avenir pour surveiller les humeurs.

2.5. Classification contextuelle des émotions

La réaction émotionnelle de l'utilisateur dans le texte peut fortement dépendre du contexte: le même texte dans un contexte peut exprimer un ton positif, et dans un autre - un ton négatif [203]. Par conséquent, lors de l'analyse du ton des conversations, par exemple, des réponses dans les commentaires, il est très important de capturer le contexte de la conversation en plus des réactions émotionnelles elles-mêmes. Les chercheurs doivent prêter attention à la classification contextuelle des émotions lorsqu'ils analysent les conversations.

2.6. Analyse du contenu de sources moins recherchées

Une part importante de la recherche fonctionne sur les données de VKontakte, Twitter, LiveJournal et YouTube, bien qu'il existe d'autres réseaux sociaux populaires qui peuvent être utilisés comme source de données, par exemple Odnoklassniki, Moi Mir et RuTube. Ainsi, les chercheurs peuvent prêter attention à Odnoklassniki, car il s'agit du deuxième plus grand réseau social russe, utilisé par 42% de la population du pays [98]. La plate-forme est populaire auprès des utilisateurs de plus de 35 ans, elle peut donc être une source utile d'avis des générations plus anciennes. De plus, les statistiques représentatives d'Odnoklassniki sont accessibles via OK Data Science Lab, une plateforme développée par Odnoklassniki pour la recherche.

2.7. Analyse automatique du contenu des réseaux sociaux comme alternative aux enquêtes traditionnelles

À l'heure actuelle, les résultats de l'analyse des textes en ligne ne peuvent être considérés comme une alternative à part entière aux approches classiques d'évaluation des opinions fondées sur des sondages de masse [204]. Pour surmonter cet obstacle, une base théorique est nécessaire pour généraliser les données au niveau de groupes de population plus importants [205]. Les sondages de masse traditionnels supposent l'association d'opinions avec des groupes sociodémographiques, et des informations démographiques fiables ne sont généralement pas disponibles sur les réseaux sociaux. Les chercheurs peuvent utiliser les informations de géolocalisation, les données de profil des utilisateurs et les systèmes de prédiction du sexe et de l'âge [206] - [211] pour comparer leurs résultats avec les sondages d'opinion traditionnels.

2.8. Suivi de l'indice de sentiment du segment russophone des réseaux sociaux

Dans un article révolutionnaire de 2010 [212], Mislov et al. Certaines tendances intéressantes ont été notées, comme le plus haut niveau de bonheur tôt le matin et tard le soir. Les week-ends étaient beaucoup plus heureux que les jours de semaine. Les modèles révélés ont été confirmés par une étude de l'humeur des Brésiliens sur Twitter [213], qui a utilisé une classification bayésienne naïve des humeurs [30]. Dzogang a également étudié les modèles circadiens des changements d'humeur [214]. Si, pour de nombreuses langues, de telles études ont déjà été effectuées, les textes en russe ont jusqu'à présent été peu étudiés [93], [137]. Ils peuvent être explorés de plus en plus profondément en termes de quantité de données analysées,qualité des modèles de classification des émotions et des méthodes de calcul des indices sociaux.



En outre, certaines études ont été consacrées au développement de systèmes de suivi des émotions dans les réseaux sociaux russophones, mais les auteurs ne rapportent généralement pas les résultats du suivi. Par exemple, des chercheurs de l'Université ITMO ont décrit une approche pour évaluer le sentiment émotionnel de l'opinion publique [215], les auteurs de [216] ont examiné le principe général de la surveillance des réseaux sociaux à l'aide d'une analyse intelligente des messages texte, et dans l'article [148], les auteurs ont décrit le développement d'un logiciel pour surveiller le sentiment public à travers Messages Twitter en russe.

3. Conclusion

Comme nous pouvons le voir, il existe déjà une bonne base de recherche pour la langue russe, couvrant un large éventail d'objectifs de recherche et de sources analysées. Cependant, il existe également un certain nombre de défis et de domaines prometteurs à prendre en compte lors de la conduite de nouvelles recherches.

4. Sources

Une liste complète des sources peut être trouvée ici .