🤫 👨🏻‍🎤 ♉️ Prétraitement des données 👨🏾‍💼 🈲 🍪

salut! Je suis développeur Web et je m'intéresse au machine learning depuis plusieurs années maintenant. Parce que dans mon parc de travail quotidien, je dois résoudre des problèmes qui m'intéressent moins, qui ne sont pas liés à l'apprentissage automatique, de temps en temps j'oublie ce que j'ai lu ou utilisé une fois. Pour me créer un mémo, renforcer mes connaissances et le partager avec d'autres, j'ai décidé d'écrire cette série d'articles sur l'apprentissage automatique. Je vais commencer par le prétraitement des données.

Dans cet article, je parlerai des problèmes rencontrés avec les données, comment les résoudre, ainsi que des méthodes les plus couramment utilisées pour préparer les données avant de les transmettre à différents modèles.

Sauts

Considérez l'ensemble de données suivant. Je l'ai honnêtement inventé et j'y ferai référence plus loin dans cet article.

ID	Nom	Discipline sportive	Un pays	Année de naissance de l'athlète	Poids de l'athlète	Médaille
1	Ivan	Aviron	Fédération Russe	1985	265	B
2		Boxe	Grande Bretagne	1986	54	S
3	Kim	Lutte gréco-romaine	Corée du Nord	1986	93	g
4	Oleg	Lutte gréco-romaine		1984		B
cinq	Pedro	Aviron	Brésil		97	N
6	Valery	Aviron	Fédération Russe	2004	97	N

, . . — , . , .

, "" , . , , .

— , - , . , "" "" . , , - - . : , , , .

. , . .

, . , . : , . — , .

ID
2				1986	54	S

ID
4		-		1984		B

, :

ID
4		-		1984	(265 + 54 + 93 + 97 + 97) / 5 = 121.2	B

, " " 1 .

. , .

ID
4		-		1984	(54, 93, 97, 97, 265) = 97	B

, . , , . , "" . — ( ).

ID
1				1985	265	B

, , , , . :

I Q R = Q_{3} - Q_{1},

$IQR = Q_3 - Q_1,$

$Q_1$ — — , 25% . $Q_3$ — — , 75% .

, , , : :

[Q_{1} - 1.5 I Q R, Q_{3} + 1.5 I Q R]

$[ Q_1 -1.5IQR, Q_3 + 1.5IQR ]$

— . , [0, 1]. , . , . (, , ) .

. , , . , .

x_{n e w} = \frac{x_{o l d} - x_{m i n}}{x_{m a x} - x_{m i n}}

$x_{new} = \frac{ x_{old} - x_{min}} {x_{max} - x_{min}}$

Z-. Z- :

(- 3 σ [X], 3 σ [X]),

$(-3σ[X], 3σ[X]),$

$σ[X]$ — X.

Z- .

x_{n e w} = \frac{x_{o l d} - M [X]}{σ [X]}

$x_{new} = \frac{x_{old} - M[X]} {σ[X]}$

M[X] — X.

, Z- , .

One-hot encoding

. . , " " - . : . . . ( ).

, , ? . , " " 1, "" — 2. . , , . , . .

, , . , "" 4 :

ID	_	_	_
1	1	0	0
2	0	1	0
3	0	0	1	0
4	1	0	0
5	0	0	1
6	1	0	0

, , .

, . . , , . . , .

Merci d'avoir lu ou parcouru ici. Je n'ai pas décrit toutes les méthodes de prétraitement, et cet article n'est guère utile pour les scientifiques de données professionnels. Cependant, si vous êtes débutant et que vous ne savez pas quoi faire de vos données, vous pouvez revenir ici en toute sécurité. Bonne chance dans vos apprentissages et vos tâches intéressantes!

Liste des sources

Je ne suis pas un scientifique et cet article ne prétend pas être scientifique. Par conséquent, je ne rédigerai pas de sources selon les GOST. Veuillez m'excuser pour cela.

Prétraitement des données

Sauts

One-hot encoding

Liste des sources

More articles: