Music2Dance: Comment nous avons essayé d'apprendre à danser

Bonjour à tous! Je m'appelle Vladislav Mosin et je suis étudiant en 4e année du programme de licence en mathématiques appliquées et informatique au HSE de Saint-Pétersbourg. L'été dernier, avec Alina Pleshkova, étudiante diplômée de notre faculté, j'ai effectué un stage chez JetBrains Research. Nous avons travaillé sur le projet Music2Dance, dont le but est d'apprendre à générer des mouvements de danse qui correspondent à la musique donnée. Cela peut être utilisé, par exemple, dans l'auto-apprentissage de la danse: j'ai entendu la musique, lancé l'application, et elle a montré des mouvements qui se combinent harmonieusement avec cette musique.

Pour l'avenir, je dirai que nos résultats, malheureusement, se sont avérés être loin des meilleurs modèles de génération de mouvement qui existent actuellement. Mais si vous êtes également intéressé à régler ce problème, je vous invite sous cat. 

. , — Dance Dance Revolution, , . — 2D-. 

C — 3D- . . 2020 DanceNet, . .

: , , . .

: onset, beats, chroma

, — — . , , , . , onset, beats chroma ( , ).

:  

. — — . , , , -. , (, 240x240) . 

, . , . , , , , . 

( ), .

. , 3D-, : , . , , . : , .

DanceNet

DanceNet coc : 

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• .

  
  
  
  
  

:

1. . Bi-LSTM .

   
   
   
   
   

2. . , Bi-LSTM .

   
   
   
   
   

3. - . .

   
   
   
   
   

4. . , . dilated () -.

   
   
   
   
   

DanceNet , , — , , .

, , . , . , , , . . , .

:

• 
  
  
  
  

• (DanceNet)

  
  
  
  
  

• (RL )

  
  
  
  
  

• 
  
  
  
  

. 2020 , . , , . , . , - . , : YouTube VIBE.

DanceNet

— , -, , -, .

RL

RL — , . ( ) , . 

. : .

, Q-Learning ( TD3, ) ( PPO). 

, . -, , . , , , . Humanoid, , .

, , .

S — , S_real — , R — .

, , , . , . .

, , DanceNet. , , , , . . , — YouTube , RL .

. !

---

:

• 10 BERT- ?

  
  
  
  
  

• ! Gym-Duckietown

  
  
  
  
  

• Google: ,

  
  
  
  
  

---