Quand j'étais impliqué dans le développement de produits, j'étais terriblement enragé par les concepteurs pragmatiques - ceux qui essayaient de tout faire uniquement sur la base de recherches statistiques.
Je veux donc que le bouton soit vert, juste parce que je l'aime ainsi. Et le concepteur dit - "peu importe, les tests AB ont montré que le bouton d'une couleur de diarrhée est cliqué 0,2% plus souvent". Seigneur, mon pote, tu as pomper ton goût et ton expérience depuis dix ans, alors quoi? Pour que notre produit ressemble à de la merde d'oiseau? Mais les affaires disent - puisqu'il y a des chiffres, alors nous couvrirons tout avec eux.
Je comprends que les gens veulent gagner de l'argent. Ils ne veulent pas faire confiance à leurs goûts en matière de satisfaction de la foule. Mais maintenant je sais que le problème n'est peut-être pas en nombre, mais chez les personnes qui ne savent pas comment utiliser les tests statistiques.
La semaine dernière, dans notre podcast, Andrey Akinshin, titulaire d'un doctorat en physique et mathématiques et expert en analyse des performances. Il nous a expliqué pourquoi lui aussi était bombardé par les statistiques mathématiques modernes.
. — .
, . « ». , , , . – . , , , .
« » — . . , , P-value, . P-value , , . , ( « » ).
- , . — . - . . P-value , . , .
, -, , . , – , : , , , . , ! .
– 0,05. ? , 30- , , – , — . 20 , , , .
0,05. — , . Qwerty, , . Qwerty .
. 80- , , . – . , , - , , – «false positive». . , , – «false negative».
0.2. . : «, , , , . – 0.05. ». , , 0.2 – , , .
: «, , , , , . , , 0.2, ». , . , . -, . , ?
, , - .
. , , , , , . . .
, – . , . P-value. – P-value , 0.05. 0.049 0.051, : «! !».
0.9, , . «» , 20 , P-value , . , .
, . , – -, , . , . - , , , .
— -. — , -.
: ? -, -, P-value . : «, - , , ». , . , – .
– , .
, , , .
, : « ?» ( ), : « !».
– 0 1. . , . , , , , , . . – . : « » « - » — .
. — ? -, , . ; , – P-value – .
, .
, , - — « , . ». , . . . — -, , . , , P-value, — , ! - .
, . , , .
, , . , . . « - , , , , ».
— -, , . , . , — - .
Harlow, Lisa L., Stanley A. Mulaik, and James H. Steiger, eds. What if there were no significance tests? Routledge, 2016.
Cohen, Jacob. "The earth is round (p<. 05)." In What if there were no significance tests?, pp. 69-82. Routledge, 2016.
Amrhein, Valentin, Fränzi Korner-Nievergelt, and Tobias Roth. "The earth is flat (p> 0.05): significance thresholds and the crisis of unreplicable research." PeerJ 5 (2017): e3544.
Wasserstein, Ronald L., Allen L. Schirm, and Nicole A. Lazar. "Moving to a world beyond “p< 0.05”." (2019): 1-19.
Winder, W. C. "What you always wanted to know about testing but were afraid to ask." American dairy review (1973).
Grieve, Andrew P. "How to test hypotheses if you must." Pharmaceutical statistics 14, no. 2 (2015): 139-150.
Krawczyk, Michał. " La recherche de la signification: quelques particularités dans la distribution des valeurs P dans la littérature de psychologie expérimentale ." PloS one 10, non. 6 (2015).
Et encore un discours d'Andrey, où il parle du problème plus en détail: