👩🏾‍🤝‍👩🏻 👳🏿 😯 Puzzle AI 👨🏽‍✈️ ⛷️ 🔋

Comment j'ai appris à l'agent à assembler la cage 2048 dans le jeu "2048"

salut! Je m'appelle Rinat Maksutov, je travaille dans la division Intelligent Engineering Services du département Technologie du bureau russe d'Accenture et je dirige des projets de développement sur mesure. Au cours de ma longue carrière chez Axencher, j'ai essayé de nombreux domaines différents: le développement mobile, le front-end, le back-end et même la science des données avec mashlern. Cependant, mon histoire ne portera pas sur le travail, mais sur un passe-temps. J'aime vraiment apprendre et explorer de nouveaux domaines sur mes propres projets pour animaux de compagnie. Aujourd'hui, je vais vous parler de l'un d'entre eux - comment j'ai appris à l'agent d'apprentissage par renforcement (RL) à jouer au célèbre puzzle "2048". L'article ne contiendra délibérément pas de code, de mathématiques, d'approches de pointe et des dernières découvertes dans le domaine, de sorte que les personnes qui connaissent bien RL ne découvriront rien de nouveau par elles-mêmes. Cet article est une histoire pour le grand public surcomment je me suis fixé un objectif inhabituel et je l'ai atteint.

. , , Nanodegree Udacity (Nanodegree - ). Deep Learning Nanodegree , .

RL, : , , - , , , - . , .

, RL , . , , , - , ( , ).

, - , ( , RL), . - 2048 ( : https://play2048.co/). , (, , , ), , . , ( 0.9) ( 0.1). , , .

, 2048 . , 4096, 8192, . - 131 072, 2^17:

. , , . , . , , , (, ), , - . , “” , , .

- , “” , , , .
( , ) . , “” , .

, , , .

Reinforcement learning

, RL, - . - , . (, ), , . , , , , . , .

Source: https://medium.com/@dgquintero02/how-to-explain-machine-learning-to-your-family-77a3bac3593a — : https://medium.com/@dgquintero02/how-to-explain-machine-learning-to-your-family-77a3bac3593a

, , , . , , , , . “”. , , . - “” - , . - “”, , , - ( discourage) . ( , ) .

Udacity . , , . : , , , . , , . , , . - - - , .

: AlphaGo, StarCraft . , , - , . , , . , , , .

, . , , . , .

, , : 1) , 2) , 3) . , , , - , . , , : , , .

. - ( , ) , . - -, , , , StarCraft . , , , . , , , . , . , , - . , . , . , .

2048 ( - , 2048 - ) - , , , , .

: , Deep Q-network Udacity, , . .

, 3 ( , ):


	One-hot encoded (16 * 18 )	“ ” Log2 4 4
	log2	log2
	10 , 1024, ε: 0.05, ε: 0.9999,	1, 3, 5, 20 ε ( ) 1.0 0.01
	100 000 ( )	50 000 200 000 , , , , ..
()		“ ”: N , , “ ”: 3 ,
	2
	5-: 288-31024-4, ReLU Adam optimizer	2, 4 256, 512 learning rate