Piège psychologique en analyse de données
Le cerveau humain a une capacité étonnante à trouver des modèles dans tout ... mais ces modèles ont généralement peu à voir avec la réalité. Nous pouvons voir l'image d'un lapin dans un nuage ou le visage d'Elvis dans des croustilles.
Voir le profil du lapin et d'Elvis?
Pensez au test de Rorschach - on montre aux gens des taches différentes et on leur demande ce qu'ils voient. Vous ne croirez pas à quel point notre esprit trouve facilement de fausses interprétations d'ensembles de données aléatoires.
Chauve souris? Papillon? Une tache ordinaire? C'est l'une des 10 cartes de test Rorschach créées en 1921.
Les psychologues ont un beau nom pour ce phénomène: l'apophénie. Donnez au moins une incitation aux gens et ils vous trouveront non seulement des visages et des papillons, mais aussi une raison d'allouer un budget à votre projet préféré ou de lancer un système d'intelligence artificielle.
À propos de l'auteur: Cassie Kozyrkov est une spécialiste sud-africaine des données et des statistiques. Elle a fondé Decision Intelligence chez Google, dont elle est la scientifique en chef.
La plupart des ensembles de données contiennent de nombreuses informations aléatoires. Quelle est la probabilité que votre analyste ne soit pas sujet à l'apophénie? Puis-je faire confiance à mon interprétation des données?
Notre esprit fait la même chose avec les données qu'avec les taches.
Plus ces ensembles de données sont fragmentés de plus en plus complexes, plus les incitations sont vagues. Ils vous supplient pratiquement de reconnaître de fausses images.
Des ensembles de données sophistiqués demandent pratiquement de voir ce qui n'y est pas réellement
Êtes-vous sûr que votre dernier ensemble de données n'est pas une apophénie latente?
Il y a un autre mot merveilleux - pareidolia , une sorte d'apophénie (pour trouver des choses familières dans de vagues stimuli sensoriels). Au Japon, il existe même un musée de pierres qui ressemblent à des visages. Nous vivons à une époque incroyable.
Mensonges, mensonges flagrants et analyses
Je sais que cela semble sombre, mais je n'ai pas encore fini. Si vous suivez des cours d'analyse de données, cela peut alimenter le feu. Les étudiants sont habitués à attendre une valeur réelle de chaque étude de données. Chaque mission de recherche exploratoire a un trésor caché. Seuls quelques professeurs décident de vous envoyer à la poursuite de l'inatteignable (pour votre bien!). L'évaluation des devoirs sans réponse précise est plus difficile, de sorte que les étudiants n'y prêtent généralement pas beaucoup d'attention.
Les étudiants sont habitués à la vérité derrière chaque ensemble de données.
La narration des données est simplement une dérogation aux mensonges utilisant directement les données. Laissons de côté la question de savoir si les modèles sont réels. Parlons de plusieurs interprétations. Si vous voyez l'image d'une chauve-souris dans une tache, cela ne signifie pas qu'il n'y a pas de papillon, d'os pelviens ou de renards. Si je n'avais pas mentionné les renards, les verriez-vous? Probablement pas. Les mécanismes psychologiques responsables de la motivation et de l'attention jouent contre vous. Il faut une compétence spéciale pour arrêter de voir la chauve-souris et commencer à ne voir qu'une superposition de valeurs.
Une fois que les gens s'accrochent à leur image préférée, il devient difficile pour eux de ne pas la voir.
Le problème est qu'une fois que les gens s'accrochent à leur image préférée, il devient difficile pour eux de ne pas la voir et de voir d'autres images. Les gens ont tendance à croire surtout à l'interprétation qui a attiré leur attention en premier lieu. Chaque nouvelle valeur trouvée réduit la motivation à poursuivre la recherche. Jongler avec plusieurs histoires potentielles sans réévaluer votre histoire préférée demande beaucoup de travail de cerveau. Hélas, tous les analystes ne sont pas suffisamment disciplinés pour le faire. En fait, de nombreux analystes souhaitent "prouver" un seul aspect de l'histoire grâce à l'exploration de données. Pourquoi développer des compétences qui empêchent votre portefeuille de se reconstituer?
De quelle couleur est votre sabre laser?
Il existe plusieurs façons de prouver une histoire à l'aide de données - honnête et approfondie. Mon article sur la fragmentation des données vous en dira plus à ce sujet. L'analyse exploratoire des données ne s'applique pas à ces méthodes. L'exploration de données qui n'implique pas de valeur réelle est comme la pêche. La couleur de votre sabre laser dépend de l'appât que vous utilisez.
Si vous rejoignez le côté obscur, vous serez accroché aux preuves à l'appui de votre théorie. Vous «savez» déjà qu'elle est fidèle (vous pouvez donc la vendre à une victime naïve). Vous pouvez même ne pas réaliser que votre sabre laser est rouge si vous croyez sincèrement à l'objectivité des données et à votre propre impartialité.
L'exploration de données qui n'implique pas de valeur réelle est comme la pêche.
Si vous avez un ensemble de données plutôt complexe (vague), vous trouverez un modèle que vous pouvez adapter pour prouver votre histoire préférée. C'est la beauté du test de Rorschach. Malheureusement, les données sont pires que les transferts. Plus votre méthode est mathématique, plus elle paraît convaincante pour ceux qui n'y comprennent rien.
Une image satellite du «visage sur Mars», que de nombreuses personnes perçoivent comme une preuve de l'existence d'étrangers.
Ceux qui refusent d'embrasser le côté obscur pêchent aussi. Mais ils attrapent autre chose: l'inspiration. Ils recherchent des modèles qui peuvent être intéressants et convaincants, mais ne les prennent pas pour preuve, car ils sont intelligents. Au lieu de cela, ils s'engagent dans des analyses impartiales et essaient de noter autant d'interprétations différentes que possible dans leur tête.
Les meilleurs analystes essaient de trouver le plus d'interprétations possible.
Cela nécessite un œil attentif et un esprit humble et impartial. Les bons analystes n'essaient pas d'amener les parties prenantes à ne voir qu'un seul côté de l'histoire. Au lieu de cela, ils pensent de manière créative à transformer les mêmes données en plusieurs histoires. Ils présentent leurs conclusions de manière à inspirer tout le monde à faire le suivi sans inciter leurs dirigeants à sortir les montagnes de l'excès de confiance.
L'impartialité donne à l'analyse des données une chance d'avoir un sens.
Une discipline développée pour rechercher de multiples interprétations est l'arme secrète de l'analyste. Il vous permet de garder en vue les vrais trésors cachés dans les données. Si vous êtes distrait par de fausses informations auxquelles vous croyez en raison de préjugés, il est difficile de prêter attention aux preuves pointant dans l'autre direction. Pourquoi avez-vous besoin d'analyser quoi que ce soit si les conclusions sont prédéterminées à l'avance? L'impartialité permet de s'assurer que tous les efforts n'ont pas été vains.
Ce sandwich au fromage grillé a été vendu 28 000 $ aux enchères car il représente la Vierge Marie. Que voyez-vous ici?
Embaucher un grand analyste
Traits que vous voudrez probablement rechercher chez de bons analystes:
- Ils ne tirent pas de conclusions qui vont au-delà des données qu'ils explorent.
- Ils gèrent facilement les outils de traitement des données et sont capables de visualiser rapidement d'énormes quantités de données.
- Ils ont la connaissance nécessaire du sujet, ils sont donc moins susceptibles de passer le temps des parties intéressées sur des bagatelles.
- Ils comprennent que leur travail consiste à trouver l'inspiration.
- Ils visualisent les données d'une manière pratique et compréhensible pour le cerveau, donc l'inspiration vient rapidement.
- Ils savent ce dont ils ont besoin pour suivre de près toute information potentielle qu'ils trouvent (et vers qui se tourner pour obtenir de l'aide).
En plus de tout ce qui précède, cet article vous invite à prêter attention à ces fonctionnalités:
- Ils savent que l'esprit trouve un sens là où il n'y en a pas, ils essaient donc de ne pas céder à de fausses interprétations et de ne pas se précipiter vers des conclusions.
- , . , .
- , . , . , -.
Enfin, si vous êtes un leader, assurez-vous de donner à vos employés les bonnes incitations. Vous recherchez un analyste de données ou un manipulateur de données? Ils ont des mentalités et des compétences différentes. Choisissez judicieusement l'analyste et récompensez-le pour le bon comportement.
Oubliez les croustilles! Ce musée japonais avec des pierres en forme de visage excellait.
Publication scientifique: La chips de pomme de terre ressemble vraiment à Elvis! Caractéristiques neuronales du traitement conceptuel associé à la recherche de nouvelles formes subjectivement significatives
Apprenez les détails sur la façon d'obtenir une profession en demande à partir de zéro ou de monter en niveau en compétences et en salaire en suivant les cours en ligne rémunérés de SkillFactory:
- Cours d'apprentissage automatique (12 semaines)
- Apprendre la science des données à partir de zéro (12 mois)
- (9 )
- «Python -» (9 )