Comment générer de la musique à l'aide de la simulation physique

Les simulations physiques ont une caractéristique incroyable: elles peuvent être arrêtées, rembobinées et rejouées. C'est un outil très puissant qui peut être utilisé pour générer des mondes inhabituels. Dans cet article, je décrirai comment j'ai utilisé cela pour synchroniser le son des balles frappant de la musique célèbre. Je demande à ceux qui sont intéressés sous la coupe!

introduction

J'adore créer toutes sortes de visualisations sophistiquées, de simulations physiques et tout ce genre de choses. Et donc il y a deux ou trois ans, lorsque je développais ma prochaine idée , j'avais une idée, mais que se passerait-il si nous générions le monde physique pour que les processus qui s'y déroulent créent une mélodie? En effet, dans une simulation informatique, on peut toujours revenir en arrière, parcourir les options, choisir la meilleure et en même temps on a toutes les informations sur la mélodie: notes, temps de jeu d'une note. J'ai donc eu cette idée de vivre dans ma tête jusqu'à des temps meilleurs, jusqu'à ce que j'aie le temps d'écrire quelque chose en quarantaine, et c'est ainsi que ce projet avec cet article est apparu.

Modèle

Pour commencer, j'ai décidé de choisir un modèle assez simple. Dans mon modèle, il n'y a que deux types d'objets: des billes et des plates-formes ou des planches. Les plates-formes ont des coordonnées strictement fixes, sont définies par deux points d'extrémité et ont une largeur constante. Les balles tombent sous l'influence de la gravité et peuvent rebondir sur les plates-formes selon les lois de la physique. Aussi, j'ai décidé de n'utiliser que des collisions absolument élastiques pour que l'énergie du système reste toujours inchangée. Mais le plus important est que lorsque la balle et la plate-forme entrent en collision, un son est joué, chaque plate-forme a son propre son et peut se composer de plusieurs notes à la fois.



Ainsi, notre monde se compose de nombreuses plates-formes, dont chacune a un son qui lui est assigné. Et les boules qui tombent dans ce monde peuvent créer une séquence de sons, et dans notre cas, même une mélodie.

Algorithme

Nous avons compris le modèle, mais comment générer un tel monde pour que les sons de coups de balles s'alignent dans une mélodie bien connue ?



J'ai décidé d'utiliser le plus maladroit, néanmoins, qui s'est avéré être assez bon, la force brute récursive, et dans la force brute des gens ordinaires . Mais pour que tout fonctionne comme il se doit, j'ai dû utiliser quelques astuces. Toutes les étapes suivantes sont effectuées dans une fonction récursive:

1. Nous simulons le monde, jusqu'au moment suivant où vous devez jouer une note.
2. Si au cours de la simulation il y avait une collision indésirable, nous revenons au niveau supérieur.
3. , , , . , . $$$-70^\circ$ $$$+70^\circ$. «» ( , , ).
4. 4. .
5. 5. ,
6. 6. , , $$$m$ ticks, aucune collision ne s'est produite, et si tel est le cas, renvoie le monde résultant en conséquence.

Dans l'image, vous pouvez voir la visualisation d'une étape de cet algorithme:









Récursivité bloquée



Comme tout algorithme bruteforce , celui-ci présente un inconvénient sous la forme de "récursivité bloquée", cela se produit lorsqu'une "mauvaise" plate-forme ne permet pas de générer la carte à l'avenir, mais en même temps vous permet d'en générer une assez grande partie, mais pas complètement ... Dans ce cas, la récursion restera bloquée jusqu'à ce qu'elle énumère toutes les options dans le sous-arbre de récursivité que cette «mauvaise» plate-forme génère. Il n'y a aucun problème lorsque la hauteur de ce sous-arbre ne dépasse pas 4 à 8 niveaux de récursivité, mais parfois elle peut atteindre 20 à 30 niveaux, ce qui rend tout simplement impossible d'itérer à travers toutes les variantes de ce sous-arbre.



Par conséquent, dans ma mise en œuvre, j'ai décidé d'utiliser une heuristique pour surmonter le blocage. L'idée est de réduire une partie de la récursivité lorsque de tels cas sont détectés. Il me semblait le plus évident de revenir$$$d$ les niveaux de récursivité sont plus élevés si pendant $$$k$itérations, nous n'avons pas pu améliorer la longueur maximale du chemin généré sur les plates-formes. Dans mon cas, je choisis$$$k$ comme 10% du nombre de notes, et $$$d$comme 2000.



Vous pouvez voir le résultat de cette heuristique dans la démo, lorsque la progression de la génération de la carte sera parfois réinitialisée de 10%. Mais en même temps, cela vous permet de terminer la génération de la carte dans un délai raisonnable.



Génération itérative



Nous allons maintenant résoudre le problème suivant: après le début de la génération de la carte, la page se fige pendant 10 à 30 secondes et il est impossible de comprendre ce qui se passe du tout, tout est tombé, ou cela prend juste beaucoup de temps pour générer la carte. Par conséquent, j'ai décidé d'écrire également une implémentation itérative de l'algorithme de génération afin que vous puissiez systématiquement créer une carte en petites portions.

Je n'ai pas eu à inventer quelque chose de nouveau, j'ai juste réécrit l'algorithme récursif sur une pile explicite. Ainsi, une barre de progression est apparue sur la page qui vous aidera à comprendre que le code n'est pas tombé, il faut juste beaucoup de temps pour trouver un emplacement de plateformes adapté à votre piste.







Dans certains cas, la génération peut prendre trop de temps, pour cela j'ai ajouté le bouton Play , qui arrête la génération et démarre la simulation du monde.

Télécharger la sonnerie

Pour télécharger la mélodie, j'utilise des fichiers midi, mais avant cela, je l'ai parcourue via tonejs.github.io/Midi pour la transformer en un json convivial pour le navigateur (mais pour le moment, la démo n'a pas la fonctionnalité de télécharger mon fichier, seul un choix dans une liste prête à l'emploi est disponible).



Il est également important de noter qu'il y aura souvent plusieurs pistes parallèles à l'intérieur du fichier midi, mais comme mon algorithme ne fonctionne jusqu'à présent qu'avec une seule boule, une seule piste sera chargée avec le plus grand nombre de notes.

résultats

Après avoir ajouté quelques effets, j'ai enregistré la première vidéo:





Après l'avoir revu plusieurs dizaines de centaines de fois, j'ai décidé d'améliorer légèrement la partie visuelle. J'ai ajouté un arrière-plan mobile à deux couches, fait un effet de lueur sur la balle et sur les plates-formes lors de l'impact, remplacé les notes volantes par des étincelles. Après cela, tout a commencé à être beaucoup plus joli, le résultat final dans la vidéo:





La vidéo peut montrer une désynchronisation, je l'ai remarqué plus tard. Si vous allez à la page avec la démo , il ne devrait pas y avoir de désynchronisation (le son n'est en fait joué que lorsque le rythme est enregistré).



Du coup, je connais toutes ces mélodies par cœur, et mes oreilles reconnaissent n'importe quelle mélodie aux deux premières notes.

Et après?

J'ai l'intention d'ajouter la possibilité de générer de telles cartes pour plusieurs balles à la fois. J'ai des idées sur la façon de faire cela, j'ai testé plusieurs options, mais jusqu'à présent, elles fonctionnent toutes extrêmement lentement pour générer une piste complète.



Une autre de mes idées était d'ajouter de nouveaux objets: boutons, tremplins, canons (?), Anneaux ... la liste peut être complétée :) Ils peuvent grandement diversifier le monde.

Le code

Tout le code source que vous pouvez trouver dans mon référentiel



Toutes les suggestions, pull requests, quiz sont les bienvenus!