Comparaison de textes
Disons que nous avons trois textes: deux sur les chiens et un sur les chats. Comment les comparez-vous entre eux?
Nous pouvons compter le nombre de chaque mot dans le texte, dans notre cas, nous compterons les chats et les chiens, et s'il y a plus de chiens que de chats dans le texte, alors nous pouvons conclure qu'ils (textes) sont à peu près la même chose.
En fait, ce n'est pas toujours le cas. Imaginez une situation où il y a un très long texte sur les chiens et il y a plus de mots dedans. Heureusement, vous pouvez sortir de cette situation en comparant les distances cosinus.
bag-of-words , , , «» «» . , , . , ? . bag-of-words , «» «» .
. , , . , «» «». – . python : pymorphy pymystem. , . .
. , , .
, . , «» — «» — «», , «» «», «».
Word2Vec
, . , Word2Vec. ? , . , , . Word2Vec :
, .. . , , . 10 . .
, , , IT, .. . ? () «». «» «» , , , , .
, pyLDAvis , .
, . , . . udpipe.
, , : « ». , , «».
, udpipe , , .
Bien que tous les outils aient été envisagés à l'aide d'exemples simples, la PNL a un large éventail de tâches à résoudre: classer les demandes des employés, évaluer les avis des clients, analyser les messages d'un chatbot. Ainsi, plusieurs autres instruments sont apparus entre nos mains.