🤚🏾 ✍🏻 🚻 Qu'est-ce qui peut mal tourner avec la science des données? Collecte de données 🔂 🐲 🔘

Aujourd'hui, il existe 100 500 cours en science des données et on sait depuis longtemps que le plus d'argent en science des données peut être gagné précisément par des cours en science des données (pourquoi creuser quand on peut vendre des pelles?). Le principal inconvénient de ces cours est qu'ils n'ont rien à voir avec un vrai travail: personne ne vous donnera des données propres et traitées dans le format requis. Et lorsque vous quittez les cours et commencez à résoudre le vrai problème, de nombreuses nuances se dégagent.

Par conséquent, nous commençons une série de notes "Qu'est-ce qui peut mal tourner avec la science des données", basée sur des événements réels qui m'est arrivé, mes camarades et collègues. Nous analyserons les tâches typiques de la science des données à l'aide d'exemples réels: comment cela se passe réellement. Commençons aujourd'hui par la tâche de collecte de données.

Et la première chose sur laquelle les gens trébuchent lorsqu'ils commencent à travailler avec des données réelles est en fait de collecter les données les plus pertinentes pour nous. Le message clé de cet article:

Nous sous-estimons systématiquement le temps, les ressources et les efforts nécessaires pour collecter, nettoyer et préparer les données.

Et surtout, nous discuterons de ce qu'il faut faire pour éviter cela.

Selon diverses estimations, le nettoyage, la transformation, le traitement des données, l'ingénierie des fonctionnalités, etc. prennent 80 à 90% du temps et l'analyse 10 à 20%, alors que presque tout le matériel pédagogique se concentre exclusivement sur l'analyse.

Prenons comme exemple typique un problème analytique simple en trois variantes et voyons ce que sont les «circonstances aggravantes».

Encore une fois, à titre d'exemple, nous considérerons des variantes similaires de la tâche de collecte de données et de comparaison des communautés pour:

Deux subreddits Reddit
Deux sections Habr
Deux groupes d'Odnoklassniki

Approche conditionnelle en théorie

Ouvrez le site et lisez des exemples, si c'est clair, mettez quelques heures pour la lecture, quelques heures pour le code à l'aide d'exemples et de débogage. Ajoutez quelques heures à collecter. Jetez quelques heures en réserve (multipliez par deux et ajoutez N heures).

Point clé: L'estimation du temps est basée sur des hypothèses et des estimations sur le temps que cela prendra.

Il est nécessaire de démarrer l'analyse du temps en évaluant les paramètres suivants pour le problème conditionnel décrit ci-dessus:

Quelle est la taille des données et combien elles doivent être physiquement collectées (* voir ci-dessous *).
Combien de temps faut-il pour collecter un enregistrement et combien de temps faut-il pour collecter le second.
Pour établir l'écriture de code qui sauvegarde l'état et démarre un redémarrage quand (et pas si) tout tombe en panne.
, API.
, — : , , .
.
, , a workaround.

Plus important encore, pour estimer le temps - vous devez en fait investir le temps et les efforts dans la «reconnaissance en force» - alors seulement votre planification sera adéquate. Par conséquent, peu importe comment vous êtes poussé à dire «combien de temps faut-il pour collecter des données», prenez du temps pour une analyse préliminaire et expliquez combien le temps variera en fonction des paramètres réels du problème.

Et maintenant, nous allons montrer des exemples spécifiques où ces paramètres changeront.

Point clé: L'évaluation est basée sur une analyse des facteurs clés qui influencent le volume et la complexité du travail.

L'estimation par estimation est une bonne approche lorsque les éléments fonctionnels sont suffisamment petits et qu'il n'y a pas beaucoup de facteurs qui peuvent affecter de manière significative la structure du problème. Mais dans le cas d'un certain nombre de tâches de Data Science, ces facteurs deviennent extrêmement nombreux et une telle approche devient inadéquate.

Comparaison des communautés Reddit

Commençons par le cas le plus simple (comme il s'avère plus tard). En général, pour être tout à fait honnête, c'est un cas presque idéal, vérifions notre liste de contrôle des difficultés:

Il existe une API soignée, simple et documentée.
Il est extrêmement simple et important qu'un jeton soit automatiquement obtenu.
Il existe un wrapper python - avec un tas d'exemples.
Une communauté qui analyse et collecte des données sur le reddit (jusqu'à des vidéos youtube expliquant comment utiliser le wrapper python) , par exemple .
Les méthodes dont nous avons le plus besoin existent probablement dans l'API. De plus, le code a l'air compact et propre, voici un exemple de fonction qui recueille des commentaires sur une publication.

def get_comments(submission_id):
    reddit = Reddit(check_for_updates=False, user_agent=AGENT)
    submission = reddit.submission(id=submission_id)
    more_comments = submission.comments.replace_more()
    if more_comments:
        skipped_comments = sum(x.count for x in more_comments)
        logger.debug('Skipped %d MoreComments (%d comments)',
                     len(more_comments), skipped_comments)
    return submission.comments.list()

Tiré de cette collection d'utilitaires d'emballage pratiques.

Malgré le fait que nous ayons le meilleur cas ici, il vaut toujours la peine de considérer un certain nombre de facteurs importants de la vie réelle:

Limites de l'API - nous sommes obligés de prendre des données par lots (veille entre les demandes, etc.).
Temps de collecte - pour une analyse et une comparaison complètes, vous devrez consacrer beaucoup de temps à l'araignée pour parcourir le sous-répertoire.
Le bot doit fonctionner sur le serveur - vous ne pouvez pas simplement l'exécuter sur votre ordinateur portable, le mettre dans votre sac à dos et partir en affaires. J'ai donc tout couru sur un VPS. Avec le code promotionnel habrahabr10, vous pouvez économiser encore 10% du coût.
L'inaccessibilité physique de certaines données (elles sont visibles pour les administrateurs ou sont trop difficiles à collecter) - cela doit être pris en compte, toutes les données, en principe, ne peuvent pas être collectées dans un délai adéquat.
Erreurs de réseau: la mise en réseau est une douleur.
Ce sont de vraies données vivantes - elles ne sont jamais propres.

Bien sûr, il est nécessaire d'inclure les nuances spécifiées dans le développement. Des heures / jours spécifiques dépendent de l'expérience de développement ou de l'expérience de travail sur des tâches similaires, néanmoins, nous voyons qu'ici la tâche est exclusivement d'ingénierie et ne nécessite pas de gestes supplémentaires pour être résolue - tout peut être très bien évalué, peint et réalisé.

Comparaison des sections Habr

Passons à un cas plus intéressant et non trivial de comparaison de flux et / ou de sections Habr.

Vérifions notre liste de contrôle de la difficulté - ici, pour comprendre chaque point, vous devez déjà fouiller un peu dans le problème lui-même et expérimenter.

Au début, vous pensez qu'il existe une API, mais ce n'est pas le cas. Oui, oui, Habr a une API, mais seulement elle n'est pas disponible pour les utilisateurs (ou peut-être que cela ne fonctionne pas du tout).
Ensuite, vous commencez simplement à analyser le html - "demandes d'importation", qu'est-ce qui pourrait mal tourner?
Comment analyser en général? L'approche la plus simple et la plus fréquemment utilisée est d'itérer sur les ID, notez que ce n'est pas la plus efficace et devra gérer différents cas - par exemple, la densité des ID réels parmi tous les ID existants.

Tiré de cet article.
, HTML — . , : score html :

1) int(score) : , , "–5" — , (, ?), - .
```
try:
      score_txt = post.find(class_="score").text.replace(u"–","-").replace(u"+","+")
      score = int(score_txt)
      if check_date(date):
        post_score += score
```
, ( check_date ).

2) — , .

3) .

4) ** **.
En fait, la gestion des erreurs et ce qui peut ou non se produire devront être traités et vous ne pouvez pas prédire avec certitude ce qui va mal et comment la structure peut être et ce qui tombera où - vous devrez juste essayer de prendre en compte les erreurs que l'analyseur génère.
Ensuite, vous comprenez que vous devez analyser en plusieurs threads, sinon l'analyse en un prendra alors plus de 30 heures (c'est purement le temps d'exécution d'un analyseur monothread déjà opérationnel qui dort et ne tombe sous aucune interdiction). Dans cet article, cela a conduit à un moment donné à un modèle similaire:

Liste de contrôle de la complexité totale:

Utilisation de l'analyse Web et HTML avec itération et itération par ID.
Documents de structure hétérogène.
Il existe de nombreux endroits où le code peut tomber facilement.
Il faut écrire || le code.
Documentation, exemples de code et / ou communauté manquants.

L'estimation du temps conditionnel pour cette tâche sera 3 à 5 fois plus élevée que pour la collecte de données à partir de Reddit.

Comparaison des groupes Odnoklassniki

Passons au cas le plus techniquement intéressant décrit. Pour moi, c'était intéressant précisément parce qu'à première vue, cela semble assez trivial, mais cela ne s'avère pas être le cas - dès que vous le piquez avec un bâton.

Commençons par notre liste de contrôle des difficultés et notons que beaucoup d'entre eux s'avéreront beaucoup plus difficiles qu'ils ne le paraissent au premier abord:

Il existe une API, mais il lui manque presque complètement les fonctions nécessaires.
Vous devez demander l'accès à certaines fonctions par courrier, c'est-à-dire que la délivrance de l'accès n'est pas instantanée.
( , , — , - ) , , , , .
, — API, , - .
, — wrapper ( ).
Selenium, .

1) ( ).

2) c Selenium ( ok.ru ).

3) . JavaScript .

4) , …

5) API, wrapper , , ( ):
```
def get_comments(args, context, discussions):
    pause = 1
    if args.extract_comments:
        all_comments = set()
#makes sense to keep track of already processed discussions
        for discussion in tqdm(discussions): 
            try:
                comments = get_comments_from_discussion_via_api(context, discussion)
            except odnoklassniki.api.OdnoklassnikiError as e:
                if "NOT_FOUND" in str(e):
                    comments = set()
                else:
                    print(e)
                    bp()
                    pass
            all_comments |= comments
            time.sleep(pause)
        return all_comments
```
:

OdnoklassnikiError("Error(code: 'None', description: 'HTTP error', method: 'discussions.getComments', params: …)”)

6) Selenium + API .
Il est nécessaire de sauvegarder l'état et de redémarrer le système, de gérer de nombreuses erreurs, notamment des comportements incohérents du site - et ces erreurs plutôt difficiles à imaginer (si vous n'êtes pas un analyseur d'écriture professionnel, bien sûr).

L'estimation du temps conditionnel pour cette tâche sera 3 à 5 fois plus élevée que pour la collecte de données auprès de Habr. Malgré le fait que dans le cas de Habr, nous utilisons une approche frontale avec l'analyse HTML, et dans le cas de OK, nous pouvons travailler avec l'API dans des endroits critiques.

conclusions

Peu importe combien il vous est demandé d'estimer les délais «sur place» (nous avons la planification aujourd'hui!) D'un grand module de pipeline de traitement de données, le temps d'exécution n'est presque jamais possible à estimer même qualitativement sans analyser les paramètres de la tâche.

Plus philosophiquement parlant, les stratégies d'évaluation agiles sont bonnes pour les tâches d'ingénierie, mais avec des tâches plus expérimentales et, dans un sens, «créatives» et de recherche, c'est-à-dire moins prévisibles, des difficultés surviennent, comme dans des exemples de sujets similaires dont nous avons discuté ici.

Bien sûr, la collecte de données n'est qu'un excellent exemple - généralement, la tâche semble incroyablement simple et techniquement simple, et c'est dans les détails que le diable se cache le plus souvent. Et c'est sur cette tâche qu'il s'avère de montrer toute la gamme d'options possibles pour ce qui peut mal tourner et combien de temps le travail peut prendre.

Si vous parcourez le coin de l'œil sur les caractéristiques du problème sans expérimentation supplémentaire, Reddit et OK se ressemblent: il y a une API, un wrapper python, mais en fait, la différence est énorme. À en juger par ces paramètres, l'analyse de Habr semble plus compliquée que OK - mais en pratique, c'est tout le contraire, et c'est ce que l'on peut découvrir en menant des expériences simples sur l'analyse des paramètres du problème.

D'après mon expérience, l'approche la plus efficace est une estimation approximative du temps dont vous aurez besoin pour l'analyse préliminaire elle-même et les premières expériences simples, en lisant la documentation - elles vous permettront de donner une estimation précise pour l'ensemble du travail. Pour ce qui est de la méthodologie agile populaire, je vous demande de créer un ticket pour moi sous "l'estimation des paramètres du problème", sur la base duquel je peux donner une estimation de ce qu'il est possible d'accomplir dans le "sprint" et donner une estimation plus précise pour chaque problème.

Par conséquent, l'argument le plus efficace semble être celui qui montrerait au spécialiste «non technique» combien de temps et de ressources varieront en fonction de paramètres qui n'ont pas encore été estimés.

Qu'est-ce qui peut mal tourner avec la science des données? Collecte de données

Approche conditionnelle en théorie

Comparaison des communautés Reddit

Comparaison des sections Habr

Comparaison des groupes Odnoklassniki

conclusions

More articles: