Analyse des sentiments. Nous définissons des messages émotionnels sur Habré

L'analyse des sentiments (ou analyse des sentiments) est l'une des tâches avec lesquelles les spécialistes de la science des données travaillent. Avec l'aide d'une telle analyse, vous pouvez étudier la gamme de messages et d'autres données et déterminer comment ils sont émotionnellement colorés - positifs, négatifs ou neutres.





Voyons comment cela fonctionne - analysons un certain nombre d'articles basés sur l'ensemble de données Linis Crowd. Nous proposons de déterminer quels modèles sont les plus prometteurs, par exemple pour le développement de divers services de surveillance. En tant que domaine, nous sélectionnerons des articles à caractère technique (par exemple sur Habré), qui peuvent être utiles pour la mise en œuvre de la collecte automatique d'avis.





La tonalité est l'identification du vocabulaire émotionnellement coloré dans les textes, ainsi qu'une évaluation émotionnelle des opinions exprimées par les auteurs. 





, , “” . , ( ). , , .





, -. , , . 





: . – 70-80%, , .





:





  • . () . , .





  • , . . , , .





, . – . , IT- , . :





-1





:





0





:





1





:





2 :





  • . , , Linis Crowd.





  • , . python, .





  • -, Flask, - .





  • nltk - . , .





  • Fasttext. Word2Vec , , . . 500 , .





Fasttext ():

























– , .





1)

, , , , . , . .













, :





alpha = 0.3; fitprior = True; classprior = None





2)

, .





:





  • samplesize, . , .





  • max_features ( — ).





  • ( ). , , ( ). , , , . 









, : 





nestimators = 200; maxdepth = 3; random_state = 0





3)  

, . 





Embedding, 64- , LSTM (128 ) Dense (10 ).









Linis Crowd, 29 . .





  .





, . fasttext , 5 - 10 CPU. GPU 0.7 – 1.





  :





  • 60%. 





  • 20% 





  • 20% . 





, 70-80%. 









  • (88,32%)





  • (78,91%)





  • . RNN (83,26%)





, 88,32% . , 80%, .





! , . 





-, : 





  1. http://datareview.info/article/analiz-tonalnosti-teksta-kontseptsiya-metodyi-oblasti-primeneniya/





  2. https://habr.com/ru/company/palitrumlab/blog/262595/





  3. https://compress.ru/article.aspx?id=23115





  4. https://habr.com/ru/company/mailru/blog/417767/





  5. https://habr.com/ru/company/mailru/blog/516214/





  6. https://habr.com/ru/company/mailru/blog/516726/





  7. https://habr.com/ru/company/mailru/blog/516730/












All Articles