Générer des idées uniques pour des projets de Data Science en 5 étapes

La partie la plus difficile de tout projet de science des données est probablement de proposer une idée originale mais réalisable. Un expert à la recherche d'une telle idée peut facilement tomber dans le «piège du jeu de données». Il passe de nombreuses heures à parcourir des ensembles de données existants et à essayer de trouver de nouvelles idées intéressantes. Mais cette approche a un problème. Le fait est que quelqu'un qui ne regarde que les ensembles de données existants (avec Kaggle , Google Datasets , FiveThirtyEight ) limite sa créativité, ne voyant qu'un petit ensemble de tâches sur lesquelles se concentrent les ensembles de données qu'ils étudient.



Parfois, j'aime explorer les ensembles de données qui m'intéressent. Si je construis un modèle réussi sur les données de Kaggle, pour lesquels d'innombrables modèles ont déjà été créés, il n'y aura aucune valeur pratique, mais cela me permettra au moins d'apprendre quelque chose de nouveau. Mais les data scientists sont des personnes qui s'efforcent de créer quelque chose de nouveau, d'unique, quelque chose qui peut apporter un réel avantage au monde.







Comment générez-vous de nouvelles idées? Afin de trouver la réponse à cette question, j'ai combiné ma propre expérience et les résultats de recherches sur la créativité. Cela a conduit au fait que j'ai pu former 5 questions, dont les réponses aident à trouver de nouvelles idées. Ici, je vais également donner des exemples d'idées trouvées grâce à la méthodologie que j'ai proposée. En cherchant des réponses aux questions présentées ici, vous suivrez la voie de la génération de nouvelles idées et pourrez utiliser votre potentiel créatif au maximum. En conséquence, vous aurez de nouvelles idées uniques que vous pourrez mettre en œuvre dans vos projets Data Science.

1. Pourquoi est-ce que je veux commencer à travailler sur un nouveau projet?

Lorsque vous pensez démarrer un nouveau projet, vous avez une intention ou un objectif en tête. Tout d'abord, vous devez trouver la réponse à la question de savoir pourquoi vous souhaitez créer un autre projet dans le domaine de la science des données. Avoir un aperçu du type d'objectif que vous visez vous aidera à vous concentrer sur la recherche d'une idée. Alors pensez à ce pour quoi vous allez créer un projet. Voici quelques options:

• Il s'agit d'un projet de portefeuille que vous allez présenter à des employeurs potentiels.
• Ceci est une ébauche d'article sur des concepts, des modèles ou une analyse exploratoire des données.
• C'est un projet qui vous permettra de pratiquer quelque chose. Par exemple, nous pouvons parler du traitement du langage naturel, de la visualisation des données, du traitement des données primaires, d'un algorithme d'apprentissage automatique spécifique.
• Il s'agit d'un projet très spécial qui n'est pas décrit dans cette liste.

2. Quels sont mes intérêts et mon expérience?

Il y a trois raisons principales de réfléchir à cette question.

• Tout d'abord, rappelez - vous les diagrammes de Venn utilisés en science des données pour décrire les compétences requises dans ce domaine. La connaissance dans un domaine spécifique est un atout important que tout spécialiste des données devrait posséder. Il est possible de résoudre certains problèmes en traitant des données uniquement si le domaine auquel ces données appartiennent est clair. Sinon, des algorithmes seront appliqués, des visualisations et des prédictions seront créées qui semblent inadéquates à tout praticien du profil approprié. Et si ce que vous faites n'a pas de sens, alors pourquoi se donner la peine de le faire?
• -, , , , . , . , . , , .
• -, , , . , , - . 

Laisse moi te donner un exemple. Les domaines de connaissances qui m'intéressent et dans lesquels j'ai de l'expérience incluent la durabilité environnementale et socio-économique des systèmes, la finance, la culture populaire, le traitement du langage naturel. Me concentrer sur ces sujets m'aide à puiser dans ce que j'ai déjà. Grâce à ces connaissances, je détermine si je peux, inspiré par quelque chose, proposer une nouvelle idée qui peut être mise en œuvre.

3. Comment trouvez-vous l'inspiration?

La principale source d'inspiration est la lecture. Lorsque vous recherchez une idée, vous pouvez trouver des sujets intéressants en lisant divers documents:

• , , . , , . , WIRED , , Google . , . , Google.
• . , . , GPT-2 , , , , , , . - ?
• . , , Data Science, , . , NLP- «», , , . - ? , ? GPT-2.

Si nous parlons d'autres sources d'inspiration, alors l'inspiration, sans se fermer aux idées nouvelles, se retrouve dans la vie de tous les jours. Chaque fois que vous êtes intéressé par une question, demandez-vous si vous pouvez répondre à cette question en utilisant des techniques de manipulation de données. Par exemple, je suis récemment tombé sur une bande-annonce de Boys et j'ai trouvé de nombreuses critiques positives à ce sujet sur IMDb. «Y a-t-il une confirmation que le nombre de scènes violentes dans les émissions de télévision augmente avec le temps ?» Me suis-je demandé. «Y a-t-il un public toujours plus nombreux qui aime les émissions de télévision violentes?» Ai-je continué. Si quelque chose vous intéresse, saisissez le moment et étudiez les données pertinentes.



Comment générez-vous des idées de projet basées sur les sources d'inspiration ci-dessus? Les neuroscientifiques ont identifié trois processus psychologiques distincts associés à la génération d'idées:

• Vous pouvez combiner des idées existantes pour en créer de nouvelles (créativité combinatoire). Par exemple, divers projets ont analysé les offres de location publiées sur Airbnb. Il existe des projets visant à analyser le marché immobilier. Si vous combinez ces idées, vous pouvez chercher une réponse à la question de savoir si les prix des logements dans une certaine ville augmentent grâce à Airbnb.
• , ( ). , -, , , . , , - .
• - , ( ). — . . . : , , .

4. ?

Une fois que vous aurez décidé de l'orientation générale de la recherche, vous devrez rechercher des données qui vous permettront de comprendre comment mettre en œuvre votre idée sous la forme d'un projet Data Science. Ceci est extrêmement important pour déterminer si une idée réussira. En réponse à la question dans le titre de cette section, vous devriez envisager la possibilité d'avoir ce dont vous avez besoin dans les magasins de données existants. Vous devrez peut-être collecter vous-même les données nécessaires, ce qui complique la tâche. Voici donc un aperçu des sources de données:

• : Kaggle, Google Datasets, FiveThirtyEight, BuzzFeed, AWS, UCI Machine Learning Repository, data.world, Data.gov , Google.
• , -. Google Google Scholar. , - , . ? , Our World in Data , .
• Données dont vous avez besoin pour collecter vous-même. Pour collecter ces données, vous pouvez recourir au scraping Web, à l'analyse de texte, à diverses API, au suivi des événements et à l'utilisation de fichiers journaux .

Si vous ne parvenez pas à trouver des données susceptibles de vous aider à mettre en œuvre votre idée de projet, reformulez l'idée. Essayez de vous faire une idée de l'idée originale qui peut être mise en œuvre à l'aide des données dont vous disposez. En attendant, demandez-vous pourquoi vous ne trouvez pas les données souhaitées. Quel est le problème avec le domaine qui vous intéresse? Que peux-tu y faire? Les réponses à ces seules questions peuvent conduire à l'émergence d'un nouveau projet de Data Science.

5. L'idée trouvée est-elle réalisable?

Vous avez donc une idée fantastique! Mais peut-il être mis en œuvre? Reprenez les étapes du processus de génération d'idées. Pensez à ce que vous voulez réaliser (question numéro 1), êtes-vous intéressé par le domaine choisi, si vous en avez l'expérience (question numéro 2), avez-vous les données nécessaires pour mettre en œuvre l'idée (question numéro 4). Vous devez maintenant déterminer ce qui suit: avez-vous les compétences nécessaires pour mettre en œuvre l'idée et atteindre l'objectif.



Il est important de prendre en compte un facteur tel que le temps que vous prévoyez de consacrer à ce projet. Vous n'allez probablement pas rédiger une thèse de doctorat sur le sujet choisi. Par conséquent, le projet que vous ferez dans le cadre de l'idée trouvée n'affectera peut-être qu'une certaine partie de celle-ci. Peut-être que cela consistera uniquement à apprendre quelque chose de nouveau, vous devrez mettre en œuvre l'idée à l'avenir.



Après avoir suivi les 5 étapes ci-dessus pour générer une idée, vous devriez avoir une question à laquelle vous pouvez et voulez répondre, en y consacrant autant de temps que vous êtes prêt à passer pour atteindre votre objectif.

Résultat

• . , , , . — , , , . — . , , .
• - . . , - , . , . , , , , .
• N'ayez pas peur de recommencer. Quoi que vous fassiez, vous apprenez toujours quelque chose de nouveau. Chaque fois que vous écrivez une ligne de code, vous pratiquez et développez vos connaissances et vos compétences. Si vous vous rendez compte que la mise en œuvre de l'idée trouvée ne vous rapprochera pas de votre objectif, ou s'il s'avère que l'idée n'est pas réalisable, n'ayez pas peur de la quitter et de passer à autre chose. Le temps que vous avez passé à chercher cette idée n'est pas perdu pour vous. Il est nécessaire d'évaluer raisonnablement les avantages qui peuvent être obtenus de la mise en œuvre de l'idée.

En utilisant la méthode décrite ici, je trouve constamment des idées originales pour mes projets Data Science. J'espère que cette technique vous sera également utile.



Comment recherchez-vous de nouvelles idées pour vos projets Data Science?