Extraction de trois : comment trouver des œufs de Pâques dans les livres de Stephen King à l'aide d'algorithmes de PNL

Arrière-plan

Que vous pouvez ignorer mais ne le ferez pas, n'est-ce pas ?





C'était derrière le dernier livre que j'ai lu de Stephen King - "Tomminokers". Encore une fois, en glissant sur « un autre nom américain de pas vraiment le personnage principal », j'ai soudain pensé : « Et si le nom que je n'avais même pas vraiment lu était important ? Et si c'était le nom d'un personnage d'une autre histoire J'ai déjà lu. ? Et si, parce que moi, la personne moyenne le vendredi soir, n'ai pas une ville entière (ou même un état) des noms de tous les personnages dans ma tête, je passe à côté du détails du monde d'Oncle King ? " C'est devenu un peu, insupportablement douloureux pour les œufs de Pâques perdus.





Ne voulant pas le supporter, j'ai commencé à penser : « Comment cela peut-il être corrigé ? Chercher sur Google tous les noms d'un livre est dangereux, surtout pour un vendredi soir encore libre. De plus, vous pouvez rencontrer des spoilers. Il est possible de regarder les « cartes » des relations entre les romans déjà créées par quelqu'un, mais ces cartes sont créées par des personnes comme vous et moi, ce qui signifie que a) quelque chose pourrait être manqué, b) il peut y avoir à nouveau des spoilers. Relire des livres (tout comme je revisitais la série "Lost") pour écrire des références dans un cahier et dessiner une carte est dangereux, mais déjà pour la santé mentale.





Mais et si ce n'était pas moi, mais la machine qui relisait ? Lisez, écrivez les noms des personnages, comparez-les avec des personnages d'autres livres et sur cette base, construisez automatiquement une carte des relations. Ça ma l'air bon.





Base

et les données et méthodes.





, . , Kaggle : https://www.kaggle.com/ttalbitt/stephen-king-books. 16 : " ", "", "", "" . , : "", , , " ", .





Python, , :





  • zipfile - , , , .





  • nltk - , NLP , .





  • spacy - NLP .





  • regex (re) - ? - , , .





  • networkx - .





.





, () : "". , , - ( ?). , , , .





? NLP NER (Named Entity Recognition) . NER () : , , , .. , .





SpaCy, "en_core_web_lg". NLTK , SpaCy:

) ,

) : string-, tuple.





:

  1. , .





  2. , "PERSON".





  3. " 's" ( )





  4. Mrs, Mr, Ms, Dr.





  5. , (, ), .. : //.





  6. : .





:

, "" - , . , .





Top 5 des personnages les plus fréquemment mentionnés dans "Tomminokers"
-5 ""

, , , , ( , ..). , , NEL ( ), .





!





: "" , "" .





" ?" - 117 "", 2 . 70-80- ( ), . , "Mike Mike" ( ) "Roland Eddie" ( ) . - :





  1. 10- Silva Compass - , , ... .





  2. 13- Sherlock Holmes. "!" - , , :





    • Charlie the ChooChoo - 3





    • Elvis Presley - 5





    • Donald Duck - 3





    • Jesus Christ - 11





" ?" - : - , , .





" ?" - ( ) 117 . .





Catégories de « mentionnés » et le nombre de ceux inclus dans telle ou telle catégorie
"" -

" ?" - ! , , /, , / . , - , : , " ... (. )" .





Les plus "mentionnés" et le nombre de livres dans lesquels ils se trouvent
"" - ,

" ?" - . , , , . : - (- ), .





« » (The Little Sisters of Eluria), «» (The Gunslinger), « » (The Drawing of the Three), « » (The Waste Lands), « » (Wizard and Glass), « » (Song of Susannah) « » (The Dark Tower) : , « » (Salems Lot) « » (Black House) , : , , .





, , " ", - « » (: " ", " " " "). " " " " , .





?





  1. , .. " " : , . (, "" " "), (, « » «», « », « » « »).





  2. ( ), .. , . (, , ) .





  3. , //. , " " , «» , « ».





  4. : . , , , . , , - .





, : , , , . " ", - . , , , // - , .





, (, ), .





P.S. ...

!





, - , : Ctrl+F . "", , , "", : "Grab Bobbi's ax and make like Jack Nicholson in The Shining?".





, :





, ! , , . , : "" "" (the Gunslinger), Misery , ..





« Et que faire ? » - Seulement avec entrain, lisez des romans et vérifiez vous-même, car cette analyse n'est qu'un prélude au plaisir principal : lire une bonne vieille histoire effrayante la nuit.





« Si vous pensez que je vous trompe, cela signifie que vous avez écouté inattentivement les nouvelles du soir. Stephen King








All Articles