Les chercheurs ont appliqué l'analyse des sentiments à des textes en russe complètement différents: publications de réseaux sociaux, critiques, articles de presse et livres. En conséquence, les résultats de leurs recherches étaient également complètement différents et extrêmement intéressants. Par exemple, qui aurait pensé que les textes à ton positif rendent l'apprentissage d'une langue étrangère plus intéressant, mais moins efficace? Dans cette série d'articles, nous examinerons comment et à quelles fins les approches d'analyse des sentiments ont été appliquées pour les textes en russe, quels résultats ont été obtenus, quels problèmes ont surgi, et parlerons également un peu des directions prometteuses.
Contrairement aux travaux précédents, je me suis concentré sur les applications appliquées, et non sur les approches elles-mêmes et leur qualité de classification. Dans le premier articlenous avons discuté de ce qu'est «l'analyse des sentiments», de ce qu'elle est et de la manière dont elle a été utilisée au cours des 8 dernières années pour analyser des textes en russe. Dans cette partie, nous examinerons de plus près chacune des 32 études principales que j'ai trouvées. Dans la troisième et dernière partie (à venir la semaine prochaine), nous parlerons des défis communs auxquels sont confrontés les chercheurs, ainsi que des orientations prometteuses pour l'avenir.
NB: l'article a été écrit pour une revue scientifique, il y aura donc de nombreux liens vers des sources.
De nombreuses études ont utilisé des données provenant de réseaux sociaux et de plateformes d'agrégation russes. Vous trouverez ci-dessous une brève description des ressources russes et étrangères les plus populaires et des statistiques sur leur utilisation.
- 90 , . Deloitte [98], , 70 % . 16—24 , .
- YouTube , 62 % . 16—24 , 58—64 %.
- Twitter [98], 5 % . 25—65 , 55—64 .
- LiveJournal , 3 % . 35—44 , .
- Medialogia — , . 500 . 100 . 52 000 900 .
- IQBuzz est un service de surveillance qui traite les informations de plus de 10000 sources dans les médias, de Facebook, Twitter, VKontakte, My World, Instagram, 4sq, LiveJournal, LiveInternet, Google, YouTube, RuTube et autres. Le système est capable d'identifier automatiquement les messages positifs et négatifs, de dédupliquer et d'effectuer des recherches complexes dans la base de données accumulée.
Ci-dessous, je décrirai les études trouvées, les résultats obtenus et les conclusions tirées par les auteurs, qui peuvent ne pas coïncider avec ma position.
1. UGC sur les réseaux sociaux
De nombreux réseaux sociaux sont devenus des outils modernes d'engagement social [53]. Les données générées par les utilisateurs sont une source importante et accessible de l'opinion publique, ou du moins un reflet de celle-ci, de sorte qu'elles peuvent compléter ou remplacer les sondages d'opinion [54]. Les données générées par les utilisateurs ont été examinées selon trois critères:
- Attitude envers différents sujets.
- Indices d'humeur sociale.
- Caractéristiques de l'interaction de l'utilisateur avec des données exprimant différentes humeurs.
1.1. Attitude envers différents sujets
Les sujets les plus fréquents dans l'étude des textes en russe étaient les problèmes des relations interethniques et des migrations, ainsi que la crise ukrainienne. Une attention considérable a été accordée à l'analyse des tensions sociales, ainsi qu'à d'autres sujets.
1.1.1 Groupes ethniques et migrants
Les problèmes des relations interethniques et des migrations, ainsi que des sujets connexes, ont été approfondis en utilisant des méthodes sociologiques bien développées. Cependant, le développement rapide d'Internet et du traitement du langage naturel a permis la recherche d'une approche relativement nouvelle. Les médias sociaux permettent aux individus et aux groupes de participer ouvertement aux conflits. Sur Internet, les jugements sur les questions de migration et d'appartenance ethnique peuvent se propager beaucoup plus rapidement et toucher un public beaucoup plus large qu'avant l'ère d'Internet [54]. Des recherches plus universitaires ont prouvé que le contenu en ligne négatif influence les conflits ethniques hors ligne [99] et les crimes de haine [100]. De cette façon,Avec le développement des technologies Internet, il est de plus en plus important d'analyser les problèmes des relations interethniques et de la migration à partir du contenu en ligne.
Une étude de Bodrunova et de ses collègues s'est concentrée sur l'attitude de la communauté russophone en ligne envers les migrants dans le discours public [81]. Les auteurs ont recueilli 363579 articles de blogueurs russes de premier plan du 4 février au 19 mai 2013. En appliquant la stratégie décrite dans [59], [101], les chercheurs utilisant l'allocation de dirichlet latent [102] ont identifié des discussions pertinentes. Nous avons ensuite cartographié manuellement certaines des discussions et des classes de sentiments. Ensuite, nous avons formé un modèle de régression logistique binomiale (régression logistique binomiale [32]) pour un certain nombre de problèmes de classification de texte, y compris la classification des émotions. Selon les résultats, tous les migrants ont été perçus négativement, et surtout ceux qui sont arrivés du Caucase du Nord par rapport aux immigrants d'Asie centrale et des Américains.Il n'y avait aucune attitude positive envers les Européens ou les Américains. Dans le même temps, les Européens, les Américains et les Caucasiens étaient perçus comme des agresseurs et non comme des victimes. Les Asiatiques centraux ont été décrits comme des extraterrestres aux connotations négatives. En général, les Européens n'étaient pas perçus comme des étrangers ou des partenaires, les Américains étaient perçus comme dangereux et les Juifs comme totalement inoffensifs. Les auteurs de l'étude soutiennent que la division mentale post-soviétique de la population ne coïncide pas complètement avec les limites géographiques actuelles, en raison desquelles des groupes auparavant proches sont déjà perçus comme des nations séparées avec leurs propres agendas politiques. L'un des principaux inconvénients de ce travail est le manque d'évaluation de la qualité de la description des données et de la spécification des métriques de classification.Les Asiatiques centraux ont été décrits comme des extraterrestres avec des connotations négatives. En général, les Européens n'étaient pas perçus comme des étrangers ou des partenaires, les Américains étaient perçus comme dangereux et les Juifs comme totalement inoffensifs. Les auteurs de l'étude soutiennent que la division mentale post-soviétique de la population ne coïncide pas complètement avec les limites géographiques actuelles, en raison desquelles des groupes auparavant proches sont déjà perçus comme des nations séparées avec leurs propres agendas politiques. L'un des principaux inconvénients de ce travail est le manque d'évaluation de la qualité de la description des données et de la spécification des métriques de classification.Les Asiatiques centraux ont été décrits comme des extraterrestres aux connotations négatives. En général, les Européens n'étaient pas perçus comme des étrangers ou des partenaires, les Américains étaient perçus comme dangereux et les Juifs comme totalement inoffensifs. Les auteurs de l'étude soutiennent que la division mentale post-soviétique de la population ne coïncide pas complètement avec les limites géographiques actuelles, en raison desquelles des groupes auparavant proches sont déjà perçus comme des nations séparées avec leurs propres agendas politiques. L'un des principaux inconvénients de ce travail est le manque d'évaluation de la qualité de la description des données et de la spécification des métriques de classification.que la division mentale post-soviétique de la population ne coïncide pas complètement avec les frontières géographiques actuelles, en raison desquelles des groupes auparavant proches sont déjà perçus comme des nations séparées avec leurs propres agendas politiques. L'un des principaux inconvénients de ce travail est le manque d'évaluation de la qualité de la description des données et de la spécification des métriques de classification.que la division mentale post-soviétique de la population ne coïncide pas complètement avec les frontières géographiques actuelles, en raison desquelles des groupes auparavant proches sont déjà perçus comme des nations séparées avec leurs propres agendas politiques. L'un des principaux inconvénients de ce travail est le manque d'évaluation de la qualité de la description des données et de la spécification des métriques de classification.
Une équipe dirigée par Koltsova [82], utilisant des méthodes adaptées des travaux antérieurs ([103], [104]), a estimé le volume total des discussions liées aux relations interethniques sur les sites de médias sociaux en russe. Pour créer un corpus primaire de 2 660 222 textes, les auteurs ont élaboré une liste complexe d'ethnonymes et de bigrammes, couvrant 97 groupes ethniques du territoire post-soviétique. Ensuite, à l'aide d'un balisage manuel, un ensemble de données de formation de 7 181 textes a été créé, chacun d'entre eux étant annoté par trois experts sur plusieurs critères, notamment la présence de conflits intergroupes, des contacts intergroupes positifs et un ton globalement négatif ou positif. Pour classer les émotions, les auteurs ont formé un modèle de régression logistique sur un ensemble de données étiqueté [32] et ont obtenu F 1 = 0,75 pour un sentiment positif et F1 = 0,68 pour le négatif. Les auteurs ont constaté que l'attention portée aux groupes ethniques varie considérablement entre les différents groupes et régions. Sur la base de ces recherches, l'équipe dirigée par Koltsova a amélioré la qualité des résultats obtenus et augmenté le nombre de préjugés, que l'on retrouve dans les travaux suivants [83]. Pour commencer, les auteurs ont augmenté l'ensemble de données pour le traitement manuel de 7 181 à 14 998 textes uniques. Ensuite, les textes ont été balisés par au moins trois experts indépendants. Ensuite, les auteurs ont enseigné un modèle de régression logistique pour diviser les textes en trois catégories (attitude positive, neutre et négative) en utilisant les meilleurs hyperparamètres tirés de l'étude précédente. Cela a contribué à améliorer considérablement les mesures de classification. Les valeurs moyennes des humeurs étaient: P = 0,67, R = 0,55 et F 1= 0,58.
Nagorny dans son travail [84] a étudié le thème de la structure des discussions ethniques dans les réseaux sociaux de langue russe. Sur la base d'une liste de plus de 4000 mots liés aux discussions ethniques, l'auteur a collecté 2659 849 textes de VKontakte et IQBuzz pour la période de janvier 2014 à décembre 2016. Ensuite, l'auteur a utilisé ISLDA [26], une modification de l'algorithme LDA développé au HSE Internet Research Laboratory. Pour calculer la classe de sentiment, Nagorny a utilisé SentiStrength [22] avec le dictionnaire russe d'émotions LINIS Crowd [26]. Pour chaque sujet, l'indice de polarité a été calculé comme la somme des produits de la probabilité de ce sujet dans le texte par la valeur de l'émotion correspondante, divisée par l'importance globale du sujet. Après avoir analysé le profil thématique des discussions ethniques obtenu avec l'aide de la LDA, Nagorny a identifié les sujets les plus négatifs et les plus importants. Il a révélé,que l'essentiel des discussions portait sur les relations russo-ukrainiennes dans le cadre du récent conflit entre les pays. En conséquence, il était difficile de séparer les sujets interethniques des sujets politiques, car le conflit influençait la polarité des discussions sur Internet. Les discussions les plus négatives concernent la nationalité ouzbèke et les relations turco-arméniennes dans le contexte du génocide arménien. Cependant, cette étude présente des inconvénients. Premièrement, on ne sait pas exactement comment les données ont été collectées. Bien que IQBuzz prétende suivre toutes les mentions sur Internet, il est impossible de le vérifier sans un accès complet aux messages VK. Deuxièmement, les métriques de classification n'ont pas été mesurées sur de grands ensembles de textes, il est donc difficile de tester la qualité des émotions classées.En conséquence, il était difficile de séparer les sujets interethniques des sujets politiques, car le conflit influençait la polarité des discussions sur Internet. Les discussions les plus négatives concernent la nationalité ouzbèke et les relations turco-arméniennes dans le contexte du génocide arménien. Cependant, cette étude présente des inconvénients. Premièrement, on ne sait pas exactement comment les données ont été collectées. Bien que IQBuzz prétende suivre toutes les mentions sur Internet, il est impossible de le vérifier sans un accès complet aux messages VK. Deuxièmement, les métriques de classification n'ont pas été mesurées sur de grands ensembles de textes, il est donc difficile de tester la qualité des émotions classées.En conséquence, il était difficile de séparer les sujets interethniques des sujets politiques, car le conflit influençait la polarité des discussions sur Internet. Les discussions les plus négatives concernent la nationalité ouzbèke et les relations turco-arméniennes dans le contexte du génocide arménien. Cependant, cette étude présente des inconvénients. Premièrement, on ne sait pas exactement comment les données ont été collectées. Bien que IQBuzz prétende suivre toutes les mentions sur Internet, il est impossible de le vérifier sans un accès complet aux messages VK. Deuxièmement, les métriques de classification n'ont pas été mesurées sur de grands ensembles de textes, il est donc difficile de tester la qualité des émotions classées.Les discussions les plus négatives concernent la nationalité ouzbèke et les relations turco-arméniennes dans le contexte du génocide arménien. Cependant, cette étude présente des inconvénients. Premièrement, on ne sait pas exactement comment les données ont été collectées. Bien que IQBuzz prétende suivre toutes les mentions sur Internet, il est impossible de le vérifier sans un accès complet aux messages VK. Deuxièmement, les métriques de classification n'ont pas été mesurées sur de grands ensembles de textes, il est donc difficile de tester la qualité des émotions classées.Les discussions les plus négatives concernent la nationalité ouzbèke et les relations turco-arméniennes dans le contexte du génocide arménien. Cependant, cette étude présente des inconvénients. Premièrement, on ne sait pas exactement comment les données ont été collectées. Bien que IQBuzz prétende suivre toutes les mentions sur Internet, il est impossible de le vérifier sans un accès complet aux messages VK. Deuxièmement, les métriques de classification n'ont pas été mesurées sur de grands ensembles de textes, il est donc difficile de tester la qualité des émotions classées.il est donc difficile de tester la qualité des émotions classifiées.il est donc difficile de tester la qualité des émotions classifiées.
Les chercheurs Borodkina et Sibirev de l'Université de Saint-Pétersbourg ont examiné les discussions sur Twitter en langue russe liées aux problèmes de la migration internationale, ainsi qu'à divers problèmes associés à la migration [55]. Les auteurs ont utilisé 13200 articles publiés entre novembre 2017 et février 2018. Ces données ont été collectées sur le thème «migration» et les mots clés associés. Ensuite, les auteurs, en utilisant le coefficient Ohai, ont mesuré la similitude des balises et, en utilisant le principe de Pareto, ont supprimé les liens faibles et insignifiants du graphe du réseau. Pour l'analyse des sentiments, un classificateur a été formé sur la base d'un modèle vectoriel de support [33]. Et pour déterminer les liens entre les caractéristiques (par exemple, les émotions, les caractéristiques du contenu), des méthodes d'analyse appropriées ont été utilisées. Il s'est avéré que parmi les Russes vivant dans différents pays, il y a une attitude très similaire envers les migrants.Une proportion importante d'utilisateurs exprime une attitude négative à l'égard des migrants d'autres nationalités. Principaux thèmes abordés: risques pour la culture et la sécurité liés au terrorisme et à la migration illégale, droits de l'homme en général, violation des droits des immigrés en Russie dans les domaines social et économique. Cette étude présente plusieurs petits inconvénients. L'approche d'analyse des sentiments est décrite brièvement, sans les détails de l'étape de prétraitement, les hyperparamètres du modèle et la qualité finale de la classification à l'aide du modèle entraîné. De plus, l'API principale de Twitter ne fournit qu'un accès partiel à toutes les publications, de sorte que la représentativité des données analysées est discutable.liées au terrorisme et à la migration illégale, aux droits de l'homme en général, à la violation des droits des immigrés en Russie dans les domaines social et économique. Cette étude présente plusieurs petits inconvénients. L'approche d'analyse des sentiments est décrite brièvement, sans les détails de l'étape de prétraitement, les hyperparamètres du modèle et la qualité finale de la classification à l'aide du modèle entraîné. De plus, l'API principale de Twitter ne fournit qu'un accès partiel à toutes les publications, de sorte que la représentativité des données analysées est discutable.liées au terrorisme et à la migration illégale, aux droits de l'homme en général, à la violation des droits des immigrés en Russie dans les domaines social et économique. Cette étude présente plusieurs petits inconvénients. L'approche d'analyse des sentiments est décrite brièvement, sans les détails de l'étape de prétraitement, les hyperparamètres du modèle et la qualité finale de la classification à l'aide du modèle entraîné. De plus, l'API principale de Twitter ne fournit qu'un accès partiel à toutes les publications, de sorte que la représentativité des données analysées est discutable.les hyperparamètres du modèle et la qualité finale de la classification à l'aide du modèle entraîné. De plus, l'API principale de Twitter ne fournit qu'un accès partiel à toutes les publications, de sorte que la représentativité des données analysées est discutable.les hyperparamètres du modèle et la qualité finale de la classification à l'aide du modèle entraîné. De plus, l'API principale de Twitter ne fournit qu'un accès partiel à toutes les publications, de sorte que la représentativité des données analysées est discutable.
Ainsi, dans le cadre de l'étude de la migration et des relations interethniques, les chercheurs ont principalement étudié les données générées par les utilisateurs à partir des réseaux sociaux, en utilisant une combinaison de modélisation thématique et d'analyse des sentiments. Le concept d'ethnicité est bien étudié dans la littérature académique, mais du point de vue de la linguistique computationnelle, la définition de la nationalité dans les textes générés par les utilisateurs est réduite à l'identification des marqueurs ethniques utilisés par les auteurs de ces textes [54]. Par conséquent, afin d'identifier les textes pertinents, les chercheurs créent souvent des listes de marqueurs de statut ethnique et recherchent des textes contenant de tels marqueurs. Cependant, l'extraction de données représentatives est difficile car toutes les plateformes ne donnent pas un accès complet à toutes leurs informations.Les sentiments sont ensuite généralement analysés au niveau du document ou de l'aspect. Étant donné que le langage négatif peut contenir des informations personnellement identifiables, ainsi que des discours offensants ou haineux, ce contenu peut être censuré conformément aux directives des médias sociaux et aux exigences légales. Le Code pénal de la Fédération de Russie dispose d'un cadre réglementaire qui réglemente les appels publics à une action radicale, ce qui devrait affecter le volume de déclarations négatives fortes dans les discussions en ligne et hors ligne. Toutes ces fonctionnalités doivent être explicitement décrites dans la section sur les restrictions.ces données peuvent être censurées conformément aux règles des réseaux sociaux et aux exigences légales. Le Code pénal de la Fédération de Russie dispose d'un cadre réglementaire qui réglemente les appels publics à une action radicale, ce qui devrait affecter le volume de déclarations négatives fortes dans les discussions en ligne et hors ligne. Toutes ces fonctionnalités doivent être explicitement décrites dans la section sur les restrictions.ces données peuvent être censurées conformément aux règles des réseaux sociaux et aux exigences légales. Le Code pénal de la Fédération de Russie dispose d'un cadre réglementaire qui réglemente les appels publics à une action radicale, ce qui devrait affecter le volume de déclarations négatives fortes dans les discussions en ligne et hors ligne. Toutes ces fonctionnalités doivent être explicitement décrites dans la section sur les restrictions.
1.1.2. Crise ukrainienne
Les relations entre la Russie et l'Ukraine sont devenues tendues après la révolution de 2014, l'entrée ultérieure de la Crimée dans la Fédération de Russie et le conflit armé dans les régions de Donetsk et de Louhansk. Alors que de nombreuses plateformes de médias sociaux ont évolué pour devenir des outils modernes d'engagement social [53], un certain nombre d'études en linguistique computationnelle ont été menées, dont les auteurs ont tenté d'explorer la possibilité d'utiliser le discours en ligne pour analyser les opinions et les caractéristiques des participants au discours. Selon le recensement de 2001 de l'Ukraine, 67,5% de ses habitants considèrent l'ukrainien comme leur langue maternelle et 29,6% le russe. Par conséquent, en plus ou à la place de l'ukrainien, les chercheurs analysaient généralement des textes en russe.
Un groupe de chercheurs dirigé par Duvanova a étudié l'impact du conflit armé ukrainien sur les liens sociaux en ligne entre toutes les régions ukrainiennes [85]. Les auteurs ont utilisé VKontakte comme source, car il s'agit du réseau social le plus populaire d'Ukraine. Tout d'abord, sur la base de mots clés, ils ont identifié une liste de communautés pertinentes - 14 777. Ensuite, sur la base de cette liste, 19 430 445 publications et 62 193 711 commentaires ont été collectés à l'aide du logiciel de surveillance des réseaux sociaux présenté dans les travaux de Semyonov et Vejyalainen [105], ainsi que de Semyonov et coauteurs [106]. Pour classer les textes en positif et en négatif, les auteurs ont appliqué une approche fondée sur des règles avec un dictionnaire de 8 863 mots positifs et 24 299 mots négatifs en russe et en ukrainien. Il s'est avéré que les discussions en Ukraine sont devenues plus polarisées en raison d'actions militaires, par exemple,dans les régions orientales du pays, le nombre de déclarations négatives et positives a augmenté. Cependant, dans d'autres régions d'Ukraine, les hostilités n'ont pas eu d'effet notable sur l'intensité de l'expression des émotions. Ainsi, les hostilités ont provoqué une forte réaction émotionnelle dans le pays, mais il n'y a pas eu d'augmentation inévitable de la cohésion sociale dans les communications internes entre les régions. Cependant, les auteurs n'ont pas fourni de détails sur le prétraitement et la formation du modèle, ni sur les métriques de classification.mais il n'y a pas eu d'augmentation inévitable de la cohésion sociale dans les communications internes entre les régions. Cependant, les auteurs n'ont pas fourni de détails sur le prétraitement et la formation du modèle, ni sur les métriques de classification.mais il n'y a pas eu d'augmentation inévitable de la cohésion sociale dans les communications internes entre les régions. Cependant, les auteurs n'ont pas fourni de détails sur le prétraitement et la formation du modèle, ni sur les métriques de classification.
Les travaux de l'équipe dirigée par Volkova [86] ont étudié les expressions sur VKontakte de l'opinion publique pendant la crise russo-ukrainienne. Sur la base de la liste des mots-clés, les auteurs ont collecté auprès de VKontakte un ensemble de 5970247 publications parues entre septembre 2014 et mars 2015. Pour la prédiction ciblée des opinions, les chercheurs ont appliqué le système de classification POLYARNIK [107] basé sur des règles morphologiques et syntaxiques, un vocabulaire émotionnel et des modèles d'apprentissage supervisé [108]. Pour classer les émotions, les auteurs ont compilé un ensemble de discussions indépendantes sur Twitter liées à la crise. En utilisant les approches décrites dans les articles [109] et [110], les auteurs ont implémenté un balisage automatique de texte basé sur six émotions de base d'Ekman [111].Ils ont ensuite revérifié manuellement l'annotation automatique avec des locuteurs natifs de russe et d'ukrainien. Le résultat a été un ensemble de 5717 messages Twitter exprimant la colère, le plaisir, la peur, la tristesse, le dégoût et la surprise, ainsi que 3 947 messages non émotifs. Le classement final des émotions exprimées dans les textes s'est déroulé en deux temps. Au début, les textes étaient classés comme émotionnels et non émotionnels. Ensuite, en utilisant le modèle de régression logistique [32], les textes émotionnels ont été divisés en six classes basées sur la stylistique, le vocabulaire et les unigrammes binaires. Pondéré Fa été réalisée en deux étapes. Au début, les textes étaient classés comme émotionnels et non émotionnels. Ensuite, en utilisant le modèle de régression logistique [32], les textes émotionnels ont été divisés en six classes basées sur la stylistique, le vocabulaire et les unigrammes binaires. Pondéré Fa été réalisée en deux étapes. Au début, les textes étaient classés comme émotionnels et non émotionnels. Ensuite, en utilisant le modèle de régression logistique [32], les textes émotionnels ont été divisés en six classes basées sur la stylistique, le vocabulaire et les unigrammes binaires. Pondéré F1- la mesure du modèle de classification émotionnelle atteint 58%. Selon les résultats obtenus, la part d'opinions positives concernant Euromaïdan était plus élevée en Ukraine qu'en Russie. À titre de comparaison, la part de déclarations positives sur Poutine et la Crimée était plus élevée en Russie qu'en Ukraine. En outre, certains des résultats contredisent les idées fausses courantes des médias. Par exemple, en Russie, il y avait des publications dont les auteurs se sont prononcés positivement en faveur des États-Unis et contre Poutine, tandis qu'en Ukraine, il y avait des publications exprimant leur soutien à Poutine, pas à Euromaïdan. Le principal inconvénient de l'étude est que les auteurs ont utilisé POLYARNIK pour analyser les sentiments sans évaluer la qualité de la classification des textes sur le sujet choisi. De plus, les auteurs ont appliqué un modèle formé sur les messages Twitter pour reconnaître les émotions dans les messages de VKontakte,qui ont des caractéristiques linguistiques différentes, au moins la longueur moyenne du texte. De plus, de nombreuses questions se posent quant à la qualité de l'annotation par un seul évaluateur, car il est impossible de mesurer les métriques d'un accord inter-experts.
Prenant comme base le conflit russo-ukrainien de 2014, Rumshisky et ses co-auteurs ont analysé la dynamique de la réflexion du conflit politique dans les réseaux sociaux [87]. Contrairement à l'étude de Volkova [86], les chercheurs ne se sont pas appuyés sur des données bruyantes sur la localisation des auteurs lors de la création du corpus d'analyse. Au lieu de cela, ils se sont concentrés sur l'auto-identification des groupes d'utilisateurs associés à la crise. Après avoir analysé les données de VKontakte, les chercheurs ont sélectionné manuellement 51 groupes anti-Maid avec 1 942 918 utilisateurs uniques et 47 groupes promus avec 2 445 661 utilisateurs. Ensuite, nous avons sélectionné toutes les publications sur les murs de ces groupes, ajouté les publications des murs des utilisateurs actifs et de ceux qui ont aimé ces publications. Seules ces publications ont été ajoutées à la collectiondans lequel au moins un mot-clé d'une liste prédéfinie a été rencontré. Pour prédire le sentiment des textes en russe, les chercheurs ont utilisé une version améliorée de la bibliothèque SentiMental, qui est un système d'analyse des sentiments basé sur un dictionnaire. Les résultats de la recherche ont confirmé que l'augmentation de l'intensité du conflit s'accompagne de déclarations négatives. L'analyse a examiné la relation entre le sentiment dominant et la mesure de la controverse de marche aléatoire. Au fur et à mesure que le nombre de conflits augmente, l'écart type du sentiment général exprimé par les groupes opposés augmente, ainsi que la mesure de l'errance aléatoire de la discussion. Le principal inconvénient de l'étude est que ses auteurs n'ont pas fourni de détails sur le prétraitement et la formation.Pour prédire le sentiment des textes en russe, les chercheurs ont utilisé une version améliorée de la bibliothèque SentiMental, qui est un système d'analyse des sentiments basé sur un dictionnaire. Les résultats de la recherche ont confirmé que l'augmentation de l'intensité du conflit s'accompagne de déclarations négatives. L'analyse a examiné la relation entre le sentiment dominant et la mesure de la controverse de marche aléatoire. Au fur et à mesure que le nombre de conflits augmente, l'écart type du sentiment général exprimé par les groupes opposés augmente, ainsi que la mesure de l'errance aléatoire de la discussion. Le principal inconvénient de l'étude est que ses auteurs n'ont pas fourni de détails sur le prétraitement et la formation.Pour prédire le sentiment des textes en russe, les chercheurs ont utilisé une version améliorée de la bibliothèque SentiMental, qui est un système d'analyse des sentiments basé sur un dictionnaire. Les résultats de la recherche ont confirmé que l'augmentation de l'intensité du conflit s'accompagne de déclarations négatives. L'analyse a examiné la relation entre le sentiment dominant et la mesure de la controverse de marche aléatoire. Au fur et à mesure que le nombre de conflits augmente, l'écart type du sentiment général exprimé par les groupes opposés augmente, ainsi que la mesure de l'errance aléatoire de la discussion. Le principal inconvénient de l'étude est que ses auteurs n'ont pas fourni de détails sur le prétraitement et la formation.
Zaeziev propose d'étudier le processus de mobilisation politique en analysant le contenu des réseaux sociaux [88]. La révolution ukrainienne de 2013-2014 a été prise comme base. L'auteur s'est concentré sur la première étape des manifestations, du 21 février 2013 au 22 février 2014. Il a analysé les publications des réseaux sociaux les plus populaires en Ukraine: VKontakte et Facebook. Zaeziev a identifié un ensemble de mots-clés pertinents sur la base des recommandations générales de Godbowl [112], puis a collecté plus de 124 000 messages en utilisant IQBuzz. À l'aide des algorithmes de reconnaissance des sentiments IQBuzz, le chercheur a classé les textes en catégories: négatif, neutre, positif et mixte. En supposant que les partisans d'Euromaidan exprimeraient une attitude positive à l'égard de cet événement, les auteurs ont supprimé tous les messages non positifs de la collection.Ensuite, nous avons filtré la collection par une liste prédéfinie de mots-clés, laissant 4255 messages. L'analyse de ces données a révélé que dès la toute première nuit de manifestations, les réseaux sociaux étaient principalement utilisés comme un outil de mobilisation politique, puis comme un outil de couverture médiatique. Le principal inconvénient de l'étude est qu'elle ne décrit pas les métriques de classification des sentiments, il est donc difficile de vérifier l'exactitude des résultats.
Le chercheur Tokarev de l'Institut d'État des relations internationales de Moscou a étudié le discours des principaux blogueurs ukrainiens concernant le territoire et la population du Donbass entre 2009 et 2018 [56]. L'auteur a analysé la sémantique, la fréquence et l'émotivité des discussions dans le segment ukrainien de Facebook. La recherche s'est déroulée en plusieurs étapes. Dans un premier temps, des leaders d'opinion ont été identifiés et leurs publications ont été téléchargées du 1er janvier 2009 au 15 février 2018. Ensuite, sur la base de mots-clés prédéterminés issus du discours, les auteurs ont identifié des publications dédiées au Donbass. À l'étape suivante, un dictionnaire des émotions a été créé, qui a ensuite été utilisé pour différencier les discussions en fonction du degré de leur émotivité. Avec l'aide de bénévoles, un vocabulaire de 566 mots marqueurs pour le territoire et la population a été recueilli.Chaque mot a été présenté en russe et en ukrainien. Une équipe de 69 évaluateurs a ensuite annoté le vocabulaire en cinq notes: positif, neutre-positif, neutre, neutre-négatif et négatif. Enfin, le degré d'expression des émotions et la dynamique des discussions ont été évalués. Un corpus de 1 069 687 publications de 376 principaux blogueurs en sept langues a été analysé. Il s'est avéré que le début des discussions sur le territoire et la population du Donbass a commencé au tournant de 2013-2014. Avant cela, la fréquence de mention de ce domaine était presque nulle. Une attitude négative significative envers la population a été exprimée et il n'y a pratiquement pas eu de discussion négative sur le territoire. Un ton neutre a prévalu. Le nombre de discussions positives et négatives sur le territoire était bien moindre par rapport aux discussions de la population.Cela nous permet de conclure qu'il existe une forte incertitude parmi les principaux blogueurs sur le territoire, ainsi que la faible probabilité que le discours passe d'un ton neutre à un ton positif. Les inconvénients de cette étude sont les mêmes que ceux des travaux de Zaeziev [88], il n'y a pas de description des métriques de classification.
Ainsi, lors de l'étude de la crise ukrainienne, les chercheurs ont utilisé des informations non seulement sur le sentiment, mais aussi sur la localisation des auteurs des publications afin d'étudier la liaison territoriale des utilisateurs. Pour déterminer les textes pertinents, une liste de mots marqueurs de conflit a été collectée et les textes contenant ces marqueurs ont été recherchés. Lors de l'analyse des groupes ethniques ou des problèmes liés à la migration, il est difficile d'extraire des données représentatives et de décrire de manière exhaustive les restrictions qui les accompagnent.
1.1.3. Tension sociale
Les processus observés dans la société russe moderne créent le besoin de placer les conflits sociaux dans un cadre spécifique [113]. Compte tenu de l'utilisation généralisée des médias sociaux présentant des avantages et des risques pour la société civile [114], l'analyse du contenu en ligne devrait recevoir une attention appropriée et appropriée, y compris pour identifier les tensions sociales. Vous pouvez mesurer les tensions sociales en ligne à l'aide d'indices et de métriques, puis utiliser ces informations pour suivre les explosions de tensions, qui est une forme de «gouvernance anticipative» [115].
L'équipe dirigée par Donchenko a analysé les commentaires sur VKontakte sur des sujets socialement sensibles pour la période de janvier à juin 2017 [89]. Les chercheurs ont compilé une liste de sujets populaires liés aux problèmes de tension sociale et collecté des publications d'utilisateurs pertinentes via l'API VKontakte. Ensuite, les textes ont été prétraités: le radical des mots (radical) a été sélectionné, la ponctuation a été supprimée, les abréviations standard et les mots d'argot ont été remplacés par les mots normaux correspondants. Pour la catégorisation par thème, les auteurs ont formé un modèle de vecteur de support (SVM) [33] avec vectorisation TF-IDF [116]. Sujets d'actualité sociale: chômage, corruption et hausse des prix des biens de consommation. De plus, en utilisant le modèle SVM, la polarité de la tonalité a été classée. Il s'est avéré que les humeurs de protestation sont généralement concentrées dans les centres des régions densément peuplées.L'un des principaux inconvénients du travail est le manque d'évaluation de la qualité de l'annotation des données et l'absence de spécification des métriques de classification des sentiments. Koltsova et Nagorny ont découvert quels sujets sont classés comme problèmes sociaux en analysant les commentaires des lecteurs des médias régionaux russes [57]. Les auteurs ont rassemblé un ensemble de 33 887 actualités et 258 107 commentaires des sites médiatiques d'Omsk (Gorod55, BK55, NGS Omsk et Omsk-Inform) pour la période de septembre 2013 à septembre 2014. Pour déterminer les sujets auxquels appartiennent les textes d'actualité, les auteurs ont utilisé Gensim- implémentation [117] de l'algorithme d'allocation de Dirichlet latent [102] avec une métrique développée par Arun, Suresh, Madhavan et Murthy [118]. Pour classer le sentiment des commentaires, les auteurs ont utilisé SentiStrength [22] avec le vocabulaire PolSentiLex. Koltsova et Nagorny ont constaté que ces sujets,comment le divertissement, la culture, les sports et les vacances évoquent le plus souvent des émotions positives, et la plupart des émotions négatives sont associées à la criminalité et aux catastrophes. Les chercheurs ont calculé un indice d'importance et de polarité pour chaque sujet. Un problème fondamental avec l'utilisation de SentiStrength dans cette étude est que les auteurs n'ont pas décrit les métriques pour classer les données sur le sujet sélectionné, il est donc difficile de vérifier l'exactitude des résultats.
Ainsi, les auteurs ont utilisé deux approches pour identifier les sujets sociaux aigus. Dans le premier cas, les données sont filtrées sur la base d'une liste de mots-clés, et dans le second, un regroupement non supervisé de toutes les données est appliqué, suivi de l'identification de sujets sociaux aigus. Lors de l'utilisation des données des réseaux sociaux, les auteurs ont rencontré les mêmes difficultés pour extraire des données représentatives. Cependant, cela n'est pas pertinent lors de l'analyse des données des sites d'actualités, car ils n'ont généralement aucune restriction d'accès aux informations publiées. Le discours sur des sujets sensibles pouvant être accompagné de déclarations sévères, ces dernières peuvent être censurées conformément aux accords d'utilisation et à la législation.
1.1.4. Autres sujets
Un certain nombre d'études se sont concentrées sur des sujets d'autres domaines. Le chercheur Ruleva a étudié la réaction des utilisateurs russophones de Twitter et YouTube à une explosion de météore au-dessus de Tcheliabinsk en février 2013 [58]. Au cours des 100 dernières années, il a été le plus grand corps céleste à être entré dans l'atmosphère terrestre. Comme prévu, cet événement a suscité un débat émotionnel dans les médias traditionnels et les plateformes en ligne. Le chercheur a recueilli 495 messages Twitter du 15 au 20 février 2013 en utilisant le hashtag «météorite», ainsi qu'un nombre non spécifié de vidéos YouTube. L'accent a été mis sur une analyse comparative du contenu des deux sites dans le contexte des différences entre les genres parlés primaires et secondaires [119]. Cependant, les paroles ont également donné une certaine interprétation des sentiments et des émotions.
Ruleva a constaté que le contenu YouTube fournit des données plus utiles pour la recherche de sentiments que Twitter. L'auteur s'est appuyé sur l'analyse des genres et un mélange d'analyse linguistique et sémiotique. Autrement dit, elle a analysé le texte lui-même et comment il est présenté. L'auteur pense que les utilisateurs de YouTube et de Twitter appartiennent souvent à des groupes sociaux différents, de sorte qu'ils peuvent avoir différents modes d'expression des émotions. Bien que l'étude dans son ensemble soit indirectement liée aux aspects émotionnels du texte, Ruleva a été l'une des premières à étudier les différences entre les différents types d'informations en russe. Cependant, il n'y a pas de description détaillée de la méthode de comparaison des sentiments et de la procédure de collecte de données sur YouTube. Pour trouver des données sur Twitter, un filtrage de base a été appliqué, qui ignorait une grande partie des messages,qui manquait du hashtag "météorite". De plus, sans utiliser l'API historique, l'outil de recherche Twitter ne donne qu'un accès partiel à tous les messages accessibles au public.
Kirilenko et Stepchenkova ont mené une étude comparative du discours en russe et en anglais sur Twitter à propos des Jeux Olympiques de 2014 à Sotchi [90]. Plus de 400 000 messages ont été collectés via l'API Twitter sur une période de six mois couvrant les Jeux Olympiques [120], puis soumis à une analyse des groupes et des sentiments pour la compétition. Les auteurs ont évalué les approches de Deeply Moving [121], Pattern et SentiStrength [22] sur un ensemble étiqueté à la main de 600 publications Twitter en anglais et 3 000 en russe. Malgré l'augmentation de l'expression d'une attitude positive envers les Jeux olympiques pendant le match, cette amélioration n'a été significative que pour les messages des Russes. Cependant, les auteurs n'ont pas fourni de métriques de classification pour les modèles évalués, ni décrit l'étape de prétraitement.
L'équipe dirigée par Spicer a étudié la vague de manifestations de masse en rapport avec les élections à la Douma et à la présidence de la Fédération de Russie au cours de la période 2011-2012 [91]. Les chercheurs ont analysé les messages Twitter pertinents en russe du 17 mars 2011 au 12 mars 2012, collectés via l'API Twitter Streaming. Les données ont été sélectionnées selon une liste de mots-clés. 690 297 messages en russe liés à la politique ont été collectés. Pour identifier les partisans et les opposants de Poutine, les auteurs ont utilisé une combinaison de liste de mots clés et de SentiStrength [22], puis ont classé les 1 000 premiers utilisateurs selon leur score moyen de sentiment et leur affiliation à un parti. En comparant les annotations manuelles de 100 utilisateurs des deux côtés avec la classification automatique, les chercheurs ont constaté qu'environ 70% des participants étaient classés correctement.Enfin, les auteurs ont appliqué une méthode de recherche qualitative [122] et codé manuellement les n-grammes extraits de la clé. L'une des principales conclusions est que le discours sur Twitter a été initialement fortement soutenu par l'opposition, puis la mobilisation de l'opposition a considérablement diminué et le soutien à Poutine s'est accru. Cependant, cette étude présente plusieurs inconvénients. Premièrement, la représentativité des exemples de données n'est pas claire, car l'API Twitter Streaming ne fournit qu'un accès partiel à toutes les publications. Deuxièmement, les métriques de classification n'ont pas été mesurées sur la collection de texte cible, il est donc difficile de vérifier la qualité de la classification des sentiments.et plus tard, la mobilisation de l'opposition a considérablement diminué et le soutien à Poutine a augmenté. Cependant, cette étude présente plusieurs inconvénients. Premièrement, la représentativité des exemples de données n'est pas claire, car l'API Twitter Streaming ne fournit qu'un accès partiel à toutes les publications. Deuxièmement, les métriques de classification n'ont pas été mesurées sur la collection de texte cible, il est donc difficile de vérifier la qualité de la classification des sentiments.et plus tard, la mobilisation de l'opposition a considérablement diminué et le soutien à Poutine a augmenté. Cependant, cette étude présente plusieurs inconvénients. Premièrement, la représentativité des exemples de données n'est pas claire, car l'API Twitter Streaming ne fournit qu'un accès partiel à toutes les publications. Deuxièmement, les métriques de classification n'ont pas été mesurées sur la collection de texte cible, il est donc difficile de vérifier la qualité de la classification des sentiments.
Nenko et Petrova ont mené une analyse comparative de la distribution des émotions à Saint-Pétersbourg sur la base des commentaires des utilisateurs sur les objets urbains dans Google Places et des données du système SIG ouvert Imprecity [92]. L'ensemble de données contenait 1 800 marqueurs d'émotion de Imprecity et 2 450 commentaires référencés par lieu de Google Places. Deux évaluateurs ont marqué les commentaires en six émotions et les ont traités à l'aide d'un classificateur bayésien naïf [123]. Sur la base d'une analyse des sentiments et d'un ensemble de données d'Imprecity, les auteurs ont créé une carte thermique des émotions négatives et positives à Saint-Pétersbourg. La tendance générale est à la concentration d'émotions positives et négatives dans le centre historique au sud de la ville, à l'extrémité ouest de l'île Vassilievski et au centre de l'île Petrogradsky.Cependant, les auteurs n'ont pas décrit la méthodologie de prétraitement et les paramètres de classification.
Ainsi, lorsqu'ils étudient les attitudes à l'égard de différents événements ou lieux, les chercheurs rencontrent les mêmes difficultés pour trouver des données représentatives et décrire de manière exhaustive les contraintes. De plus, le principal inconvénient de la plupart des études était le manque d'évaluation du modèle d'analyse des sentiments dans les textes sur des sujets sélectionnés, il est donc difficile de vérifier la qualité de la classification.
1.2. Indice de sentiment social
Lorsqu'elles mesurent le niveau de bonheur et de satisfaction dans la vie, par exemple, à l'aide de l'indice de bien-être subjectif (SWB) [124], les approches psychologiques modernes reposent sur des échelles d'auto-évaluation. Ces approches présentent des inconvénients. Par exemple, le nombre limité d'entretiens, le coût élevé des entretiens avec les répondants et le recours à la mémoire des participants rendent difficile la présentation du statut des répondants en temps réel [125] - [127]. Alternativement, les chercheurs ont essayé de mesurer divers indices de sentiment social en utilisant l'analyse des sentiments, car un large éventail d'opinions est exprimé dans les données générées par les utilisateurs sur les médias sociaux [2], [127] - [133].
Dans son travail [93], Panchenko a calculé l'indice de sentiment dans Facebook en russe comme le niveau moyen d'émotions dans un éventail de textes. Nous avons analysé 573 millions de publications et commentaires anonymes pour la période du 5 août 2006 au 13 novembre 2013, fournis pour la recherche par Digsolab LLC. Les auteurs ont filtré l'ensemble des textes en russe à l'aide du module langid.py [134]. L'indice de sentiment social a été calculé en utilisant une approche basée sur un dictionnaire [135], [136], similaire à celle de Dodd [129]. L'auteur a développé son propre dictionnaire des émotions à partir de termes de 1511, marqués par deux spécialistes en classes positives et négatives. Pour évaluer la qualité de la classification, Panchenko a appliqué l'approche du vocabulaire à l'ensemble de données ROMIP 2012 [15]. L'auteur affirme que sur une série de critiques de films, il a atteint la valeur de la macro-moyenne F 1-point jusqu'à 0,383 et précision jusqu'à 0,465. Pour mesurer le sentiment, l'auteur a proposé quatre indices: le Word Sentiment Index, le Word Emotion Index, le Text Sentiment Index et le Text Emotion Index. Les deux premiers fonctionnent avec la clé des mots, et les deux seconds - avec la clé du texte. Selon l'analyse, le contenu positif prévaut sur le contenu négatif. Les valeurs maximales des indices coïncident avec les jours fériés et les valeurs minimales - avec les jours mémorables et les tragédies nationales. En général, les utilisateurs expriment des sentiments positifs 3,8 fois plus que les négatifs. Les gens utilisent moins de mots émotionnels dans les messages et plus dans les commentaires. La limitation la plus importante est queque l'auteur a vérifié la qualité du classement sur les critiques de films et l'a appliqué à des textes généraux, il est donc difficile de vérifier l'exactitude du résultat. De plus, le processus interne de collecte de données de Digsolab n'est pas décrit et des questions sur la représentativité sont donc soulevées.
L'équipe dirigée par Shchekotin a proposé une nouvelle méthode d'évaluation subjective du bien-être, basée sur les données de VKontakte sur l'activité des utilisateurs [68]. Reprenant le modèle des indicateurs de qualité de vie développé par Gavrilova [137], les auteurs ont choisi certains des indicateurs de suivi dans leur étude. En se concentrant sur la représentativité géographique et socio-économique, ils ont sélectionné 43 régions russes sur 85. Ensuite, dans les régions sélectionnées, ils ont identifié les trois plus grandes villes et sélectionné 10 communautés VKontakte chacune, unissant les habitants de ces villes - les communautés urbaines. Ensuite, à l'aide d'une collection de données issues des réseaux sociaux et d'une plateforme analytique du Consortium Universitaire des Chercheurs Big Data, développée à l'Université d'État de Tomsk,les auteurs ont extrait les informations publiées par ces communautés pour la période du 1er janvier au 31 décembre 2018. Par la suite, ils ont supprimé les données non pertinentes - publications publicitaires et textes sans rapport avec le sujet de recherche (offres d'emploi, sports, événements culturels). Le filtrage des données non pertinentes a été effectué en deux étapes: une analyse manuelle de 60 000 messages et un nettoyage automatique, dans lequel l'algorithme a été formé sur les messages nettoyés manuellement. Après cela, il restait environ 1 700 000 publications. Pendant la purge, les publications ont été annotées manuellement sur 19 sujets et trois classes de sentiments (positif, négatif et neutre). Au cours du prétraitement, les mots rares et les symboles qui n'appartiennent pas aux alphabets russe et latin ont été supprimés, et tous les autres mots ont été réduits à leur racine (racine). Ensuite, plusieurs algorithmes d'apprentissage automatique ont été formés.La meilleure qualité de classification a été montrée par l'algorithme d'amplification de gradient de LightGBM [138] - jusqu'à 68% pour la classification de catégorie et 79% pour la classification de sentiment. Pour calculer l'indice de bien-être subjectif [124], [139] pour chaque région, les auteurs ont proposé une méthode basée sur des indicateurs d'activité en ligne. Les résultats de l'étude ont montré que dans les régions sélectionnées, les thèmes du développement des infrastructures régionales sont le plus activement débattus de manière positive. L'activité la moins positive est associée à une évaluation de l'état émotionnel général et de la liberté des médias. Le sujet le plus activement débattu de manière négative est la question de la sécurité, c'est-à-dire l'évaluation des actions des forces de sécurité et d'autres organisations étatiques liées à la garantie de la sécurité dans la région.Les indicateurs négatifs les plus bas de l'activité en ligne sont également typiques de l'état émotionnel général et de la liberté des médias. De plus, les auteurs ont compilé une liste exhaustive des limites, y compris la représentativité des échantillons de données, l'audience des réseaux sociaux analysés et l'impact potentiel des bots.
Cependant, lors de la préparation de l'ensemble de données d'entraînement, les auteurs n'ont pas décrit la distribution des classes de sentiments. Si les ensembles de données n'ont pas été équilibrés, il est recommandé de mesurer la qualité de la classification à l'aide de mesures plus complexes, telles que la précision, la réponse du modèle (rappel) et la mesure F.
1.3. Comportement des utilisateurs
Le contenu des médias sociaux peut être une source précieuse d'informations, non seulement sur les attitudes à l'égard de différents sujets, mais également sur les modèles de comportement des utilisateurs lorsqu'ils interagissent avec ce contenu.
Svetlov et Platonov ont identifié l'influence de la tonalité sur la réception des commentaires du public [69]. La source des données était 46 293 publications et 2 197 063 commentaires des comptes les plus populaires des politiciens russes sur VKontakte pour la période de janvier 2017 à avril 2019. Les chercheurs ont formé BiGRU [140] sur les ensembles de données RuTweetCorp [141] et RuSentiment [142], recevant respectivement macro-moyenne F 1 = 0,91 et F 1= 0,77. Sur la base des résultats de l'analyse des sentiments, les auteurs ont identifié plusieurs modèles de réponse. Les messages étaient classés comme positifs s'ils avaient plus de vues et de likes de la part des utilisateurs. Les publications comportant un grand nombre de republications et de commentaires ont été classées comme négatives. Cependant, l'utilisation des données de formation d'un domaine et l'application de modèles formés sur celui-ci dans un autre domaine soulèvent de nombreuses questions. RuTweetCorp est une collection de courts messages de Twitter, et RuSentiment est une collection de sujets généraux de VKontakte, avec l'étude en cours de discussion axée sur la politique. Une bonne solution dans cette situation serait d'annoter manuellement un petit ensemble de textes sur le sujet cible et de tester le modèle entraîné dessus.
2. Commentaires sur les produits et services
À l'ère d'Internet, les critiques de produits et de services sont devenues un outil puissant pour exprimer la validation sociale qui encourage les gens à acheter dans différents magasins en ligne [143]. Les témoignages peuvent être une source précieuse d'informations non seulement pour les acheteurs et les vendeurs, mais aussi pour les chercheurs. Dans ce chapitre, les sources de la littérature sont réparties selon les thèmes analysés: caractéristiques des acheteurs, caractéristiques des produits et services, caractéristiques des commerçants.
2.1. Caractéristiques des examinateurs
Un groupe de recherche de l'Université de Saint-Pétersbourg a analysé les thèmes et le ton des examens de 989 entreprises employant des activités dans 12 industries russes à forte intensité de connaissances [70]. Les chercheurs ont choisi Otrude, l'un des plus grands portails russes avec des avis d'employeurs, comme principale source de données. Après avoir filtré et supprimé les données inutiles, nous avons obtenu un ensemble de 6145 avis. Le prétraitement s'est déroulé en plusieurs étapes: lemmatisation à l'aide de MyStem, suppression de la ponctuation et des mots vides. Les auteurs ont automatiquement classé les textes en deux catégories en fonction de la note des avis: ceux qui ont reçu au moins trois étoiles étaient considérés comme positifs, les autres étaient considérés comme négatifs. Les chercheurs ont ensuite analysé le sentiment en utilisant le placement de Dirichlet latent [102] - ou modélisation de sujets - et un modèle de classification non spécifié.L'équipe dirigée par Sokolov a constaté que six facteurs principaux affectent la satisfaction au travail: l'ordre et l'horaire de travail, les conditions de travail, la nature du travail, le salaire, l'évolution de carrière, le climat psychologique, les relations interpersonnelles avec les collègues. Les deux derniers facteurs - l'environnement mental et les relations interpersonnelles - sont le plus souvent discutés par les internautes lorsqu'ils discutent de la satisfaction au travail. Par conséquent, les auteurs ont suggéré que lorsqu'une personne décide d'arrêter de fumer, elle a tendance à supporter des facteurs économiques (par exemple, avec les perspectives d'évolution de carrière et d'augmentation de salaire), et non avec des facteurs socio-émotionnels (par exemple, une mauvaise nature du travail, de mauvaises relations avec les collègues). Le problème clé de la recherche est la justesse de l'utilisation de l'analyse des sentiments. Tous les avis sur le site Otrude contiennent l'évaluation de l'auteur,Par conséquent, d'un point de vue formel, la classification des sentiments n'est pas nécessaire pour évaluer ces revues. Un autre inconvénient est que les auteurs n'ont pas décrit leur approche de l'analyse et les résultats de la classification des sentiments sur l'ensemble de données de test.
2.2.
L'équipe dirigée par Seliverstov, sur la base des données du portail Autostrada, a évalué l'attitude par rapport à l'état des routes dans le district fédéral du Nord-Ouest de la Fédération de Russie [71]. Pour la formation, les auteurs ont utilisé RuTweetCorp [141], le plus grand ensemble de textes auto-annotés avec un petit filtrage manuel, recueilli sur Twitter en russe. Aux fins de la classification, un modèle de descente de gradient stochastique linéaire régularisé et un modèle de sac de mots avec vectorisation TF-IDF ont été utilisés. Après la formation, le modèle a démontré une précision de classification binaire de 72%. Après avoir analysé les examens pour la période du 1er mars 2009 au 1er novembre 2018, les auteurs ont constaté que la longueur de toutes les routes évaluées positivement était de 9874 km (75% de la longueur totale) et la longueur des routes évaluées négativement était de 3385 km (25%).Cependant, cette étude présente plusieurs inconvénients. Premièrement, les auteurs ne décrivent pas le processus de prétraitement, qui est essentiel lors de l'apprentissage sur RuTweetCorp. Le fait est que cet ensemble a été conçu à l'origine pour créer un lexique des émotions, et non pour une classification directe des sentiments. L'ensemble a été assemblé automatiquement selon une certaine stratégie [144], c'est-à-dire que chaque texte est associé à une classe d'émotions en fonction des émoticônes qu'il contient. Ainsi, même une approche simple basée sur des règles peut fournir des résultats exceptionnels. Par exemple, si le modèle classe le texte comme positif en raison de la présence d'un caractère (ou comme négatif en raison de l'absence de ce caractère, alors en classification binaire, nous obtenons Fce qui est essentiel lors de l'apprentissage sur RuTweetCorp. Le fait est que cet ensemble a été conçu à l'origine pour créer un lexique des émotions, et non pour une classification directe des sentiments. L'ensemble a été assemblé automatiquement selon une certaine stratégie [144], c'est-à-dire que chaque texte est associé à une classe d'émotions, en fonction des émoticônes qu'il contient. Ainsi, même une approche simple basée sur des règles peut fournir des résultats exceptionnels. Par exemple, si le modèle classe le texte comme positif en raison de la présence d'un caractère (ou comme négatif en raison de l'absence de ce caractère, alors en classification binaire, nous obtenons Fce qui est essentiel lors de l'apprentissage sur RuTweetCorp. Le fait est que cet ensemble a été conçu à l'origine pour créer un lexique des émotions, et non pour une classification directe des sentiments. L'ensemble a été assemblé automatiquement selon une certaine stratégie [144], c'est-à-dire que chaque texte est associé à une classe d'émotions, en fonction des émoticônes qu'il contient. Ainsi, même une approche simple basée sur des règles peut fournir des résultats exceptionnels. Par exemple, si le modèle classe le texte comme positif en raison de la présence d'un caractère (ou comme négatif en raison de l'absence de ce caractère, alors en classification binaire, nous obtenons Fc'est-à-dire que chaque texte est associé à une classe d'émotions en fonction des émoticônes qu'il contient. Ainsi, même une approche simple basée sur des règles peut fournir des résultats exceptionnels. Par exemple, si le modèle classe le texte comme positif en raison de la présence d'un caractère (ou comme négatif en raison de l'absence de ce caractère, alors en classification binaire, nous obtenons Fc'est-à-dire que chaque texte est associé à une classe d'émotions, en fonction des émoticônes qu'il contient. Ainsi, même une approche simple basée sur des règles peut fournir des résultats exceptionnels. Par exemple, si le modèle classe le texte comme positif en raison de la présence d'un caractère (ou comme négatif en raison de l'absence de ce caractère, alors en classification binaire, nous obtenons F1 = 97,39%. Pour résoudre les problèmes d'analyse automatique des sentiments, les auteurs de l'ensemble de données recommandent de supprimer les émoticônes lors du prétraitement. Selon [145], dans ce cas, en utilisant la machine à vecteurs de support [33], le score macro-moyen F 1= 75,95%. Ainsi, sans connaître le processus de prétraitement, il est difficile d'évaluer l'exactitude de l'étude. Deuxièmement, il y a de nombreuses questions sur l'efficacité de l'utilisation des données d'un domaine pour l'apprentissage dans un autre domaine. Dans ce cas, il serait possible d'annoter manuellement un petit ensemble de données sur le sujet d'intérêt (avis des utilisateurs depuis le portail de transport) et de tester le modèle entraîné dessus. Troisièmement, RuTweetCorp se compose de trois classes, mais les auteurs n'ont pas pris en compte la classe neutre dans leur étude. Des messages positifs et négatifs ont été publiés sur le site officiel de RuTweetCorp, et des messages neutres ont été publiés sur un site Web distinct. Je suppose que c'est pourquoi certaines études [146] - [150] n'ont utilisé que des messages positifs et négatifs pour la classification binaire. On peut supposercette classe neutre peut modifier la distribution globale des avis négatifs et positifs sur les routes. Enfin, la plupart des critiques Freeway ont des cotes de droits d'auteur, donc d'un point de vue formel, une classification des sentiments n'est pas nécessaire pour évaluer ces critiques. Dans ce cas, il serait intéressant de comparer les scores en fonction des notes des avis et des étiquettes de classification des sentiments.
2.3
Lee et Chen de l'Université de l'Arizona ont développé un cadre d'apprentissage automatique pour déterminer la qualité des produits vendus en fonction des commentaires des clients [72]. Ce cadre se compose de trois modules principaux: l'échantillonnage en boule de neige à l'aide de mots-clés et d'utilisateurs pertinents, la classification des sujets basée sur une entropie maximale et l'analyse des sentiments à l'aide de l'apprentissage en profondeur. L'une des particularités de ce dernier module est qu'il utilise d'abord Google Translate pour traduire du texte russe en anglais, puis ne classe les sentiments qu'en utilisant un réseau de tenseurs neuronaux récursifs avec des mots représentés comme une banque d'arbres syntaxiques [121]. Le cadre proposé a été testé sur un forum en langue russe dédié à la fraude par carte bancaire.En conséquence, les principaux vendeurs de logiciels malveillants et les voleurs de données de cartes bancaires ont été identifiés. Grâce à une analyse plus détaillée, les auteurs ont constaté que les marchands de cartes ont tendance à avoir des notes plus faibles que les marchands de logiciels. Les auteurs pensent que la raison est que la qualité du logiciel est plus facile à déterminer que la qualité des données volées. Les auteurs ont mentionné que le classificateur des sentiments a été formé à partir d'enquêtes en ligne, ce qui est approprié pour leur sujet d'intérêt, mais ils n'ont pas décrit les détails de l'utilisation de l'ensemble de données et les mesures de qualité de classification. La traduction dans une autre langue peut modifier considérablement le sens ou la tonalité du texte.Par conséquent, sans test sur des textes en russe, il est presque impossible d'évaluer la qualité de l'analyse.que les marchands de cartes ont généralement une cote inférieure à celle des marchands de logiciels. Les auteurs pensent que la raison en est que la qualité du logiciel est plus facile à déterminer que la qualité des données volées. Les auteurs ont mentionné que le classificateur des sentiments avait été formé à partir d'enquêtes en ligne, ce qui est approprié pour leur sujet d'intérêt, mais ils n'ont pas décrit les détails de l'utilisation de l'ensemble de données et les mesures de qualité de la classification. La traduction dans une autre langue peut modifier considérablement le sens ou le ton du texte, il est donc presque impossible d'évaluer la qualité de l'analyse sans tester sur des textes en russe.que les marchands de cartes ont généralement une cote inférieure à celle des marchands de logiciels. Les auteurs pensent que la raison est que la qualité du logiciel est plus facile à déterminer que la qualité des données volées. Les auteurs ont mentionné que le classificateur des sentiments a été formé à partir d'enquêtes en ligne, ce qui est approprié pour leur sujet d'intérêt, mais ils n'ont pas décrit les détails de l'utilisation de l'ensemble de données et des mesures de qualité de la classification. La traduction dans une autre langue peut modifier considérablement le sens ou le ton du texte, il est donc presque impossible d'évaluer la qualité de l'analyse sans tester sur des textes en russe.cependant, ils n'ont pas fourni de détails sur l'utilisation de l'ensemble de données et des mesures de la qualité de la classification. La traduction dans une autre langue peut modifier considérablement le sens ou la tonalité du texte.Par conséquent, sans test sur des textes en russe, il est presque impossible d'évaluer la qualité de l'analyse.cependant, ils n'ont pas fourni de détails sur l'utilisation de l'ensemble de données et des mesures de la qualité de la classification. La traduction dans une autre langue peut modifier considérablement le sens ou le ton du texte, il est donc presque impossible d'évaluer la qualité de l'analyse sans tester sur des textes en russe.
3.
Les avis générés par les utilisateurs et le contenu des réseaux sociaux sont généralement subjectifs car les auteurs sont libres d'exprimer leurs opinions. Cependant, la situation est différente avec l'analyse des nouvelles. Les médias essaient d'éviter le jugement et les préjugés catégoriques, essayant de se débarrasser du doute et de l'ambiguïté. Leur philosophie est basée sur l'objectivité, ou du moins sur une neutralité largement acceptable [73]. Par conséquent, les journalistes s'abstiennent souvent d'utiliser un vocabulaire négatif ou positif, mais recourent à d'autres moyens d'exprimer leur opinion [74]. Par exemple, les journalistes peuvent mettre l'accent sur certains faits et en omettre d'autres, insérer des déclarations dans la structure complexe du discours et indiquer une citation qui convient à leur point de vue. L'intérêt généralisé des gens pour les nouvelles a été remarqué il y a des siècles [151], [152].Les actualités sont utilisées comme source de données pour l'analyse des sentiments dans divers domaines. Par exemple, pour évaluer le sentiment des nouvelles elles-mêmes [153], [154], pour prédire les cours des actions [155], [156], les résultats des élections [157], [158], les prix des produits dans les magasins en ligne [159] et le comportement futur des clients [154]. En ce qui concerne les informations en langue russe, j'ai identifié deux catégories de recherche: l'évaluation du sentiment de l'actualité et les prévisions économiques et commerciales.évaluation du sentiment des nouvelles et prévisions économiques et commerciales.évaluation du sentiment des nouvelles et prévisions économiques et commerciales.
3.1. Contenu d'actualité
Belyakov a consacré plusieurs articles [94], [95] à une analyse du ton des reportages du site Internet du ministère russe des Affaires étrangères. L'auteur a utilisé des articles de la section "Actualités", publiés du 1er au 28 février 2015. Les blocs de texte ont été affectés aux catégories suivantes:
- Question ukrainienne;
- Coopération entre la Russie et la Chine;
- Relations entre la Russie et l'Ukraine;
- Le conflit en Syrie;
- Coopération avec le Turkménistan;
- Relations entre la Russie et la Grèce;
- Sanctions contre la Russie;
- La diplomatie aujourd'hui.
L'auteur a créé un classificateur de base basé sur des règles qui résume la polarité des mots émotionnels dans le texte et prédit la classe binaire finale. De plus, un dictionnaire de 300 radicaux positifs et 300 mots négatifs a été compilé. D'après les résultats de l'analyse, les catégories «Coopération entre la Russie et la Chine», «Coopération avec le Turkménistan», «Relations entre la Russie et la Grèce» et «La diplomatie aujourd'hui» avaient une couleur positive. Les catégories «question ukrainienne», «relations entre la Russie et l'Ukraine» et «sanctions contre la Russie» avaient une couleur négative. Il est important que l’étude n’examine que le contenu des articles rédigés par des journalistes, c’est-à-dire qu’il s’agit d’une expression de la position officielle du ministère des Affaires étrangères sur certains sujets. À l'avenir, vous pourrez ajouter les réactions et commentaires des lecteurs aux articles de presse publiés sur le site. En termes d'analyse des sentiments,le principal inconvénient de la recherche de Belyakov est le manque d'évaluation du modèle. Sans connaître les métriques de qualité sur les données de test, nous ne pouvons pas évaluer les performances du modèle, et donc la qualité des résultats d'analyse.
Un groupe de recherche de l'Académie russe des sciences a étudié les attitudes à l'égard des technologies et des innovations mentionnées dans les médias [96]. Avec l'aide d'Exactus Expert [160], les auteurs ont sélectionné parmi 16 sources plus de 240 000 articles sur l'innovation et la technologie publiés de 2005 à 2015. Ensuite, sur la base de mots-clés sélectionnés manuellement, ils ont classé les articles selon 11 tendances technologiques de la Liste des technologies critiques de la Fédération de Russie. Ensuite, les auteurs ont sélectionné 120 articles et annoté manuellement chaque objet de sentiment mentionné dans l'article comme positif ou négatif. Sur la base d'un ensemble d'apprentissage de 346 paires annotées, les chercheurs ont créé un vocabulaire des émotions et développé un algorithme de classification basé sur des règles. Il a constaté qu'en général, les médias ont tendance à écrire sur la technologie de manière neutre, ce qui peut être dû à la cohérence du style des reportages.La part relativement faible de références négatives à l'informatique et à la biotechnologie et leur couverture globale positive dans les articles suggèrent que la société ne s'inquiète pas des conséquences négatives potentielles de ces technologies. Dans le même temps, la part des avis négatifs sur les technologies militaires est plus élevée que dans d'autres domaines. Cependant, les auteurs ne décrivent pas les métriques de classification dans l'algorithme développé. De plus, comme déjà mentionné, ces articles ont été écrits par des journalistes qui pouvaient exprimer non seulement le public, mais aussi le point de vue officiel. Afin d'évaluer les attitudes du public à l'égard de divers sujets, il est nécessaire d'étudier plus avant les réactions des gens aux articles de presse.la part des avis négatifs sur les technologies militaires est plus élevée que dans d'autres domaines. Cependant, les auteurs ne décrivent pas les métriques de classification dans l'algorithme développé. De plus, comme déjà mentionné, ces articles ont été écrits par des journalistes qui pouvaient exprimer non seulement le public, mais aussi le point de vue officiel. Afin d'évaluer les attitudes du public à l'égard de divers sujets, il est nécessaire d'étudier plus avant les réactions des gens aux articles de presse.la part des avis négatifs sur les technologies militaires est plus élevée que dans d'autres domaines. Cependant, les auteurs ne décrivent pas les métriques de classification dans l'algorithme développé. De plus, comme déjà mentionné, ces articles ont été rédigés par des journalistes qui pouvaient exprimer non seulement le public, mais aussi le point de vue officiel. Afin d'évaluer les attitudes du public à l'égard de divers sujets, il est nécessaire d'étudier plus avant les réactions des gens aux articles de presse.
Kazun et Kazun [75] ont analysé la couverture médiatique russe des activités de Trump pendant et après les élections. Les auteurs ont utilisé la base de données Integrum pour l'analyse du réseau et la base de données Medialogy pour l'analyse des sentiments. Trois intervalles de temps ont été pris pour l'étude: un mois avant les élections, un mois après et 7 mois après. En utilisant l'approche Medialogy, les textes ont été divisés en trois classes: positif, négatif et neutre. Il s'est avéré que la couverture médiatique des activités de Trump avant les élections était plus négative que positive. En quelques mois, cependant, la couverture de la campagne de Clinton était encore plus positive que celle de Trump, bien que dans les quatre mois précédant les élections, les articles liés à Clinton aient été largement critiques. L'un des inconvénients de l'étude estque les auteurs n'ont pas décrit la qualité de la classification des données sur le sujet d'intérêt, il est donc difficile de vérifier l'exactitude des résultats.
Des études similaires ont été consacrées à l'analyse des nouvelles liées à la politique et au gouvernement. Contrairement au contenu des médias sociaux, il n'y a pas eu de difficulté à accéder aux anciennes données, car les médias ne l'empêchent généralement pas. Cependant, certains auteurs de recherches sur l'actualité ont tenté de déterminer l'opinion publique sur des sujets spécifiques qui, à mon avis, méritent d'être approfondis. Les médias peuvent, bien entendu, être considérés comme le reflet de l'opinion publique, cependant, dans certains cas, les politiques des éditeurs peuvent influencer la diffusion, de sorte que les informations ne reflètent pas toujours l'opinion publique.
3.2. Prévisions économiques et commerciales
Yakovleva a proposé de calculer un indicateur à haute fréquence de l'activité économique en Russie basé sur des articles de presse en combinaison avec une analyse du sentiment des textes [76]. Au cours de l'étude, deux volets ont été créés: le premier est conçu pour refléter le nombre de sujets, et le second est d'identifier le ton de l'actualité. Le prétraitement s'est déroulé en plusieurs étapes: la racine avec MyStem, la suppression de la ponctuation, des mots vides et des espaces inutiles. En tant que modèle de classification des sentiments, Yakovleva a pris un algorithme de vecteur de support [33] et l'a formé sur des données annotées manuellement contenant 3438 articles de presse positifs et négatifs. La précision sur l'ensemble de test était de 64%. L'auteur a mentionné que si le modèle déterminait la tonalité du texte avec une probabilité inférieure à 60%, alors la tonalité était considérée comme neutre et le texte était exclu de l'analyse. Tous les sujets,obtenus avec le premier composant ont été combinés avec les informations de sentiment du deuxième modèle. Sur la base de ces données combinées, un modèle de régression a été développé pour prédire les indices des directeurs d'achat (PMI). Les données de test couvraient la période de février 2017 à août 2018. Le modèle a montré des capacités de prévision relativement bonnes, se rapprochant avec précision de l'indice réel pour la nouvelle période. Les résultats de la recherche montrent que le modèle peut suivre de près les performances économiques, aidant à réagir plus rapidement à la situation financière actuelle et à prendre des décisions rapides. Cependant, cette étude présente plusieurs inconvénients. Premièrement, les probabilités utilisées ne sont pas claires,car l'implémentation de la machine vectorielle de support sous-jacente ne fournit pas directement d'estimations de probabilité. De plus, la méthodologie de sélection des valeurs seuils n'est pas décrite. Deuxièmement, les données de formation de Yakovleva ont été annotées par un seul spécialiste, ce qui ne correspond pas à la pratique généralement admise [142], [161], [162]. Enfin, l'auteur a publié une représentation graphique de la comparaison prédite et des valeurs PMI réelles, mais n'a mentionné aucune mesure de qualité de régression.mais n'a pas mentionné de paramètres de qualité de régression.mais n'a pas mentionné de paramètres de qualité de régression.
4. Livres
Au cours des 60 dernières années, l'analyse de la littérature scientifique a parcouru un long chemin, du comptage manuel des citations et de l'analyse de la fréquence des mots aux méthodes modernes d'analyse automatique de texte profond [163]. L’un des sujets d’actualité dans ce domaine est l’analyse du sentiment des matériels pédagogiques.
4.1. Contenu des livres
Le groupe de recherche de Soloviev a étudié la tonalité des manuels d'études sociales et d'histoire utilisés dans les écoles élémentaires et secondaires russes [77]. Pour cette étude, le Corpus académique de la langue russe a été compilé sur la base de 14 manuels de langue russe édités par Bogolyubov et Nikitin. Le prétraitement comprenait la tokenisation de phrases, la tokenisation de mots et le balisage d'une partie du discours en utilisant TreeTagger [164]. À l'aide du dictionnaire russe RuSentiLex [25], les auteurs ont calculé la fréquence des mots émotionnels dans chaque document et mesuré leur nombre spécifique pour 1000 mots dans le document. Après avoir analysé le corpus, les auteurs ont découvert que le discours dans les manuels d'histoire du lycée, ainsi que dans les manuels d'études sociales du collège, écrits par Nikitin, est principalement présenté sur un ton négatif:des mots polarisés négativement sont utilisés et des exemples négatifs sont présentés. Et les manuels écrits par Bogolyubov ont un ton généralement positif. Cependant, une source importante de manque de fiabilité est l'exactitude et la pertinence des mots émotionnels extraits du corpus, puisque RuSentiLex a été créé à l'origine pour d'autres sujets. De plus, RuSentiLex fournit une représentation unique indépendante du contexte de la polarité émotionnelle, quel que soit l'endroit où le mot apparaît dans la phrase et quelles que soient ses significations possibles. Par conséquent, cette approche ne vous permet pas de comprendre les différentes significations des mots en fonction du contexte de la phrase.une source importante de manque de fiabilité est l'exactitude et la pertinence des mots émotionnels extraits du corpus, puisque RuSentiLex a été créé à l'origine pour d'autres sujets. De plus, RuSentiLex fournit une représentation unique indépendante du contexte de la polarité émotionnelle, quel que soit l'endroit où le mot apparaît dans la phrase et quelles que soient ses significations possibles. Par conséquent, cette approche ne vous permet pas de comprendre les différentes significations des mots en fonction du contexte de la phrase.une source importante de manque de fiabilité est l'exactitude et la pertinence des mots émotionnels extraits du corpus, puisque RuSentiLex a été créé à l'origine pour d'autres sujets. De plus, RuSentiLex fournit une représentation unique indépendante du contexte de la polarité émotionnelle, quel que soit l'endroit où le mot apparaît dans la phrase et quelles que soient ses significations possibles. Par conséquent, cette approche ne vous permet pas de comprendre les différentes significations des mots en fonction du contexte de la phrase.Par conséquent, cette approche ne vous permet pas de comprendre les différentes significations des mots en fonction du contexte de la phrase.Par conséquent, cette approche ne vous permet pas de comprendre les différentes significations des mots en fonction du contexte de la phrase.
4.2. Processus éducatif
Kolmogorova a mené une expérience sur l'enseignement du russe aux étudiants chinois [78]. Elle a mesuré la relation entre le sentiment des textes pédagogiques, l'évaluation subjective par les étudiants étrangers de l'attractivité et de l'efficacité de la formation, ainsi que le succès réel de l'enseignement sur ces textes. Pour analyser les sentiments, l'auteur a utilisé un classificateur d'émotions basé sur l'apprentissage automatique développé au Laboratoire de linguistique appliquée et de recherche cognitive de l'Université fédérale de Sibérie. Le modèle d'analyse des sentiments a classé les textes en 9 classes avec une macro-moyenne F 1-point 50%. Huit classes correspondent aux émotions de base de L¨ovheim [165], la dernière étant des textes émotionnellement neutres. Pour l'ensemble de formation, les textes ont été sélectionnés dans le groupe VKontakte ouvert `` Entendu ''. 231 locuteurs natifs russes ont balisé les textes, évaluant subjectivement le degré d'expression de toute émotion, tandis que chaque texte ne se voyait attribuer qu'une seule émotion. Tous les textes ont été corrigés par au moins trois évaluateurs. Si deux ou trois évaluateurs attribuaient la même classe au texte, alors cette émotion était attribuée au texte. Sinon, le texte a été supprimé de l'ensemble d'entraînement pour ce cours. Kolmogorova a utilisé des textes pour lesquels les principales émotions étaient le plaisir / la joie et la tristesse / la mélancolie. L'expérience a été réalisée avec la participation de 30 étudiants chinois, répartis en trois groupes égaux.Chaque groupe a étudié et examiné le thème "Ponctuation". Un groupe a appris de textes joyeux, le second de textes tristes et le troisième de textes neutres. Après avoir terminé l'étude expérimentale et les examens, les étudiants ont rempli un questionnaire dans lequel ils notaient le degré d'intérêt général du cours et son efficacité, ainsi que le degré de satisfaction à l'égard du processus d'apprentissage. Après avoir analysé les questionnaires et les résultats des examens, Kolmogorova a découvert que la tonalité du texte éducatif affecte fortement l'évaluation subjective du processus éducatif et son efficacité objective. En moyenne, les élèves ont fait moins d'erreurs sur des textes tristes que sur des textes joyeux et neutres, mais travailler avec eux a apporté le moins de satisfaction. Le plus grand intérêt a été suscité par le travail avec des textes joyeux, mais en même temps l'efficacité de la formation était moindre.Une source importante d'incertitude dans cette étude est la méthode utilisée pour classer la polarité émotionnelle des textes. Le modèle a été formé sur des textes d'un domaine, et appliqué à des textes d'un autre sans vérification supplémentaire de la qualité de la classification. L'auteur n'a pas décrit de détails concernant le modèle de classification, ni fourni plus d'informations sur le prétraitement et l'apprentissage.
Ainsi, la principale difficulté dans l'analyse des manuels réside dans l'absence de vocabulaire émotionnel et de kits de formation sur ce sujet. Lorsque les chercheurs analysaient des textes au niveau des mots à l'aide de vocabulaires émotionnels, une représentation de la polarité émotionnelle indépendante du contexte était généralement prise pour chaque mot, quelle que soit la position du mot dans la phrase et quelles que soient ses autres significations possibles. De plus, pour l'analyse des textes au niveau du document, il devient difficile d'associer des textes à des classes d'émotions, car les textes des manuels sont longs et différentes émotions peuvent être exprimées dans un même texte.
5. Sources de données mixtes
Pour couvrir un plus large éventail de matériaux, certaines études utilisent des textes de différentes sources. Par exemple, si les auteurs utilisent du contenu d'actualités et de médias sociaux, ils peuvent non seulement évaluer la polarité de la couverture de certains événements par les agences de presse et les agences gouvernementales, mais ils peuvent également évaluer les attitudes des gens face aux différents sujets abordés.
Dans un article publié dans le Berkman Center for Internet & Society [97], Etling a étudié le ton de la discussion des manifestations ukrainiennes pendant la période Euromaidan dans divers médias et réseaux sociaux en ligne et traditionnels de langue russe et anglaise. L'étude a utilisé le logiciel Crimson Hexagon [166], qui est basé sur la méthode d'analyse développée par Hopkins et King [167]. Les textes ont été classés en quatre classes en termes d'attitudes à l'égard des manifestations: positives, neutres, négatives et non pertinentes. La source des données était des publications en langue russe et en anglais sur Twitter, Facebook, des blogs, des forums et des sites d'actualités pour la période du 21 novembre 2013 au 26 février 2014. En raison des restrictions de Crimson Hexagon, les textes en ukrainien n'ont pas été pris en compte. Il a révélé,que les sources et les utilisateurs de langue russe ont exprimé plus de soutien aux manifestations que prévu. Les textes en anglais aux États-Unis et au Royaume-Uni étaient plus négatifs que prévu en raison du soutien idéologique des gouvernements occidentaux. Dans le même temps, le contenu des réseaux sociaux au Royaume-Uni, aux États-Unis et en Ukraine était plus positif que les médias traditionnels de ces pays. Le principal inconvénient de l'étude est lié au modèle de classification des sentiments. Tout d'abord, elle s'est formée sur la quantité minimale de données, c'est-à-dire sur environ 120 à 140 publications étiquetées. Deuxièmement, les données de formation ont été annotées par un seul évaluateur, ce qui contredit les meilleures pratiques [142], [161], [162]. La fiabilité et la qualité de la classification n'ont pas été testées, ce qui contredit les principes de base des modèles d'apprentissage automatique supervisé [168]. En outre,une liste complète des sources analysées n'est pas fournie, il est donc difficile de valider la fiabilité de leur sélection. De plus, les textes ukrainiens n'ont pas été pris en compte, excluant ainsi un large éventail d'opinions.
Kazun a analysé l'intensité et le ton de la couverture médiatique et sociale des activités d'Alexei Navalny sur la base des données de 2014-2016 [80]. Avec l'aide de Medialogia, l'auteur a reçu plus de 145 000 articles sur Navalny de journaux, de sites Web et des trois plus grandes chaînes de télévision fédérales russes. Pour analyser les sentiments, Kazun a utilisé les algorithmes développés en Medialogy (classification en classes positives, négatives ou neutres), après les avoir préalablement vérifiés sur deux cents articles marqués manuellement. Il s'est avéré que les médias traditionnels ont tendance à ignorer Navalny, sauf pour la publication occasionnelle de documents ou de reportages afin de dénigrer l'opposition russe en général ou Navalny personnellement. Dans l'ensemble, Navalny a obtenu une couverture plus positive dans les blogs que dans les autres médias. Cependant, les discussions dans ces articles étaient essentiellement critiques.Les auteurs ont également décrit les caractéristiques de chaque type de média, clarifiant les stratégies de publication et les modèles de sentiment caractéristiques. Malgré la négativité générale, la couverture médiatique des activités de Navalny devient plus positive d'année en année. Les raisons de cette tendance sont une diminution du nombre d'articles critiques et une augmentation du nombre d'articles positifs. Comme dans tous les exemples découverts d'utilisation des algorithmes d'analyse des sentiments de médialogie, les auteurs ne décrivent pas les métriques de classification pour le sujet cible.Comme dans tous les exemples découverts d'utilisation des algorithmes d'analyse des sentiments de médialogie, les auteurs ne décrivent pas les métriques de classification pour le sujet cible.Comme dans tous les exemples découverts d'utilisation des algorithmes d'analyse des sentiments de médialogie, les auteurs ne décrivent pas les métriques de classification pour le sujet cible.
Dans ses recherches [79], Brantley a analysé la révolution ukrainienne de 2013-2014 sur la base du contenu de Twitter, Facebook, YouTube, des blogs, des forums et des sites d'information. Avec l'aide de la plateforme Crimson Hexagon, il a rassemblé une collection de 2 809 476 textes en russe, ukrainien et anglais. Nous n'avons pris en compte que les textes publiés depuis l'Ukraine entre le 21 novembre 2013 et le 1er mars 2014. Deux évaluateurs, parlant couramment les trois langues, ont annoté l'ensemble de données d'entraînement pour l'algorithme BrightView, qui fait partie de Crimson Hexagon et est un algorithme d'analyse de données non paramétrique. décrit dans [166]. Les textes ont été divisés en trois catégories: positifs, neutres et négatifs. Les tests sur l'hexagone cramoisi ont montré une correspondance de 92% avec le classement manuel.En plus des données collectées, l'auteur a utilisé les informations du jeu de données Tone Dataset Global Knowledge Graph and Events Dataset et des jeux de données Global Events Language [169]. Il s'est avéré qu'en Ukraine, il y avait un écart prononcé entre les associations politiques et les préférences associées aux caractéristiques linguistiques. Ceci est encore confirmé par les résultats des votes passés, lorsque les locuteurs de langue ukrainienne ont traditionnellement exprimé plus de soutien à l'opposition. En comparant directement l'implication en ligne et hors ligne, Brantley a conclu que les médias sociaux avaient un impact significatif sur le développement physique des manifestations, c'est-à-dire qu'ils avaient conduit à une augmentation du nombre de manifestants dans les rues.qu'en Ukraine, il y avait des écarts prononcés entre les associations politiques et les préférences liées aux caractéristiques linguistiques. Cela est confirmé par les résultats des votes passés, lorsque les locuteurs de langue ukrainienne ont traditionnellement exprimé plus de soutien à l'opposition. En comparant directement l'implication en ligne et hors ligne, Brantley a conclu que les médias sociaux ont considérablement influencé le développement physique des manifestations, c'est-à-dire conduit à une augmentation du nombre de manifestants dans les rues.qu'en Ukraine, il y avait des écarts prononcés entre les associations politiques et les préférences liées aux caractéristiques linguistiques. Ceci est encore confirmé par les résultats des votes passés, lorsque les locuteurs de langue ukrainienne ont traditionnellement exprimé plus de soutien à l'opposition. En comparant directement l'implication en ligne et hors ligne, Brantley a conclu que les médias sociaux ont considérablement influencé le développement physique des manifestations, c'est-à-dire conduit à une augmentation du nombre de manifestants dans les rues.que les réseaux sociaux ont considérablement influencé le développement physique des manifestations, c'est-à-dire conduit à une augmentation du nombre de manifestants dans les rues.que les médias sociaux ont considérablement influencé le développement physique des manifestations, c'est-à-dire qu'ils ont conduit à une augmentation du nombre de manifestants dans les rues.
Le principal inconvénient de l'utilisation de sources de types différents est qu'en plus d'un large éventail d'opinions exprimées, les auteurs sont confrontés à des difficultés et à des limites caractéristiques de certains types de sources. Ils peuvent être liés à l'accès à des données représentatives, à une description exhaustive des limites, au manque de données de formation pour le sujet sélectionné. Dans certaines études, l'analyse des sentiments et l'agrégation des indices d'émotion ont été effectuées sur la base d'un large éventail de textes sans différenciation par type de source. Par exemple, lors de l'agrégation des émotions, les auteurs considéraient les publications sur les réseaux sociaux et les articles de presse comme des unités égales. Peut-être, dans de tels cas, il est plus logique d'utiliser des modèles plus complexes qui utilisent des pondérations afin d'analyser plus correctement des textes provenant de différents types de sources.
6. Suivant
Dans quelques jours, la dernière partie sera publiée, dans laquelle nous parlerons des difficultés communes rencontrées par les chercheurs, ainsi que des directions prometteuses pour l'avenir. Si vous souhaitez lire l'intégralité de l'article en une seule fois et en anglais, rendez-vous ici .
7. Sources
Une liste complète des sources peut être trouvée ici .