Une manette de jeu peut-elle remplacer le clavier? Essayer de programmer avec des bâtons

introduction

Pour taper sur le clavier, asseyez-vous ou restez immobile. Les manettes de jeu, en revanche, sont portables et compactes. En les contrôlant, vous pouvez vous promener dans la pièce ou vous allonger sur le canapé.



En raison du petit nombre de boutons sur la manette de jeu, personne ne les considérait comme un moyen de saisir des textes volumineux, par exemple dans la programmation.



Cependant, les sticks analogiques (et la plupart des gamepads en ont deux) ont le potentiel de fournir des options d'entrée infinies. La question se résume à choisir les bons gestes pour une efficacité maximale et une tension minimale sur les pouces.



Il existe de nombreuses façons de saisir du texte pour les manettes de jeu. Si vous avez déjà joué à des jeux sur console, il y a de fortes chances que vous en ayez utilisé un.









Saisie de texte à l'écran dans Legend of Zelda Dans Legend of Zelda, le joueur doit à tour de rôle sélectionner les lettres en utilisant le D-pad avec des flèches et à chaque fois en appuyant sur le bouton de confirmation pour ajouter une lettre au champ de saisie de texte.



Depuis lors, des méthodes de saisie plus efficaces ont été développées. Si vous êtes intéressé, lisez l' article sur Gamasutra .



Malheureusement, toutes les méthodes de saisie que j'ai trouvées présentent deux défauts majeurs qui les rendent impropres à un travail sérieux:

• Ils ne sont pas assez rapides
• Ils nécessitent un retour visuel

Le besoin de vitesse est clair. Le retour visuel est inacceptable car il occupe un espace d'écran précieux et distrait l'utilisateur, ce qui peut interférer avec le flux et ralentir.



Cependant, en l'absence de retour, tous les gestes doivent être mémorisés et pratiqués jusqu'à ce que vous puissiez les saisir avec une précision suffisante. Il est peu probable que les jeux vidéo obligent l'utilisateur à passer quelques semaines à apprendre à saisir du texte, mais pour un moyen de saisir du texte pouvant être utilisé dans n'importe quel programme, le prix est raisonnable et la formation elle-même est comme maîtriser la saisie tactile.



Dans cet article, je décrirai brièvement les étapes de la création d'un système de saisie de texte pour les manettes de jeu pouvant être utilisé en remplacement de la saisie volumétrique au clavier.

Décider des gestes

Pour commencer, j'ai créé un outil de visualisation du mouvement des sticks de manettes analogiques basé sur pygamele langage Python. Pour plus de clarté, j'ai complété l'outil pour qu'il montre non seulement les positions actuelles des bâtons, mais aussi les positions précédentes de nuances de gris de plus en plus claires, afin que vous puissiez voir les chemins le long desquels les bâtons se déplacent.



La figure ci-dessous montre le mouvement simultané des deux sticks analogiques vers l'intérieur, vers le haut, vers l'extérieur, vers le bas, vers l'intérieur et vers le centre.





Visualisation des schémas de mouvement des sticks analogiques



La première chose que j'ai remarquée est que puisque l'état neutre du contrôleur est de trouver les sticks au centre, toutes les options d'entrée doivent être accessibles à partir de cet état neutre et elles doivent toutes être complétées en ramenant les sticks au centre.



Avec ces limitations à l'esprit, j'ai compris que l'entrée la plus simple possible serait de déplacer l'un des bâtons dans n'importe quelle direction et de revenir au centre.





Le joystick gauche s'est déplacé vers le haut et vers le centre.



Combien de directions et quelles directions peuvent être sélectionnées précisément à l'aveugle? Prenons l'exemple suivant.





Le joystick gauche s'est déplacé vers le haut, le bas, le centre, la gauche et la droite, et le joystick droit s'est déplacé en diagonale



. Quelques minutes d'expérimentation ont montré qu'il était possible de sélectionner avec précision les directions le long des axes, et l'entrée dans d'autres directions était beaucoup moins précise (comme le montre l'image précédente).



Les autres méthodes d'entrée les plus simples trouvées étaient les mouvements circulaires à une et deux étapes.





Joystick gauche déplacé vers le haut, la gauche et retour au centre





Le joystick gauche s'est déplacé vers le haut, la gauche, le bas et le retour au



centre.En tenant compte de tous les gestes inventés jusqu'à présent, nous avons obtenu 4 + 8 + 8 = 20 options de saisie sur chaque bâton.



Bien sûr, les deux bâtons peuvent être déplacés en même temps, créant des gestes d'entrée combinés.





Les deux bâtons se déplacent vers le haut et vers le centre en même temps.



Lorsque vous combinez des gestes, un total de 20 * 20 + 20 + 20 = 440 options d'entrée est obtenu, ce qui, à mon avis, est plus que suffisant.

Encodage des gestes

J'ai divisé l'espace d'entrée de chaque bâton en 4 secteurs et attribué un numéro à chaque secteur.





Espaces d'entrée divisés en secteurs



Ensuite, j'ai défini une zone de seuil autour du centre pour aider à déterminer si le bâton est en position neutre, ou dans l'un des secteurs.





Appui circulaire autour du centre



Comme vous pouvez le voir, le rayon du seuil est assez grand. Grâce à l'expérimentation, j'ai déterminé que c'est le meilleur rayon qui fournit le moins d'erreur.



Lorsqu'un des bâtons est décentré et franchit la zone de seuil, la séquence d'entrée commence. Lorsque les deux bâtons reviennent au centre à l'intérieur de la zone de seuil, la séquence est considérée comme terminée et est convertie en une paire de tuples décrivant le mouvement des bâtons.





Déplacer les bâtons pour l'entrée ((0,), (2, 3))

Lier les gestes aux actions

Dans ce cas, les actions ne sont que des touches du clavier. Les boutons de déclenchement de la manette de jeu peuvent être liés aux touches Shift, Ctrl, Alt et Super, ce qui est pratique car ces touches sont utilisées dans des combinaisons (par exemple, Ctrl-C).



Pour déterminer la liaison optimale du geste et de la touche saisis, j'ai utilisé un keylogger pour enregistrer toutes les frappes et analysé la fréquence de chaque touche pendant plusieurs semaines.



Les touches les plus fréquemment enfoncées doivent être liées aux gestes les plus simples (et donc les plus rapides). J'ai estimé la complexité du geste en ajoutant les longueurs des entrées de chaque stick. Par exemple, l'entrée indiquée ci-dessus ((0,), (2, 3)) a une complexité 1 + 2 = 3.



Dans ce cas, lorsque vous entrez à partir d'un bâton, l'utilisation alternée de deux bâtons sera plus rapide que plusieurs entrées du même bâton, il est donc souvent préférable de lier les touches à taper à différents bâtons.



En suivant cette logique, j'ai d'abord généré toutes les options d'entrée possibles à partir d'un seul bâton et les ai regroupées par difficulté. J'ai compté le nombre d'entrées dans chaque groupe de difficulté et j'ai pris le nombre de clés dans une liste triée des clés les plus fréquentes.



Mon objectif était de diviser ces touches en deux groupes, un pour l'entrée du stick gauche et un pour le stick droit. Pour trouver des groupes idéaux, j'ai créé un graphique dans lequel les nœuds étaient les clés et les arêtes pondérées étaient les fréquences des combinaisons de touches.



J'ai supprimé cycliquement l'arête avec le moins de poids jusqu'à ce que le graphique devienne bipartite. Si le graphe se déconnectait, j'appliquais récursivement l'algorithme de partitionnement aux composants connectés, et finalement combinais les groupes en ensembles indépendants.



Prenons l'exemple suivant. Le premier groupe de complexité se compose de toutes les entrées avec une complexité de 1, c'est-à-dire ((0,), ()), ((1,), ()), ((2,), ()), ((3,), ()), ((), (0,)), ((), (1,)), ((), (2,)), ((), (3,)).



Ce groupe a 8 entrées, nous prenons donc les 8 clés les plus fréquentes de la liste triée. C'est ça 'e', 'o', 't', 'a', 'i', 's', 'j', 'r'. Créez un graphique avec ces clés en tant que nœuds et attribuez des pondérations aux arêtes entre ces nœuds en fonction de la fréquence de chaque combinaison de touches.



Les touches e et r sont le plus souvent combinées, elles doivent donc être attachées à des bâtons différents.



Lorsque vous supprimez les arêtes faibles du graphique, il est tôt ou tard transformé en non lié.



La touche j est commune, mais isolée.



Vous vous demandez peut-être pourquoi la clé jest l'une des 8 touches les plus fréquentes, mais qu'elle a des liens si faibles avec le reste des touches fréquentes. La raison en est qu'il est jactivement utilisé lorsque vous travaillez avec VIM plus, sur mon système, cela fait partie d'une combinaison de touches de raccourci pour basculer entre les fenêtres. Par conséquent, il est plus souvent utilisé isolément que dans le texte.



Le graphe étant déconnecté, je continue à appliquer l'algorithme aux composants connectés. Un sous-graphe constitué uniquement d'un nœud jest déjà biparti ( j+ ensemble vide). J'applique récursivement l'algorithme à un autre composant.



Après avoir supprimé les arêtes les plus faibles, le composant devient biparti.



Le composant peut alors être facilement divisé en deux groupes sans arêtes entre les nœuds du groupe.



Schéma de composants bipartites



En fin de compte, je combine les ensembles bipartites.



Le regroupement obtenu pour les 8 premières touches



Comme vous pouvez le voir, les liens les plus forts (les raccourcis clavier les plus fréquents) sont situés entre les nœuds de différents côtés, ce qui est exactement ce que je voulais.



J'ai répété ce processus pour les autres groupes de difficulté (entrées à une seule clé uniquement). Ensuite, j'ai généré toutes les entrées combinées possibles, les ai regroupées à nouveau par difficulté et affecté les touches restantes à ces options d'entrée. Comme les entrées combinées nécessitent l'utilisation des deux bâtons, le problème de la division des touches en deux groupes ne se pose pas ici.



J'ai utilisé le package pyautoguiPython pour générer des événements clavier lorsque des actions sont déclenchées.

Entraine toi

J'ai utilisé le même entraîneur tactile que j'avais ktouchdéjà utilisé pour enseigner la frappe il y a près de deux décennies. Pour cela, j'ai créé des cours spécialisés.





Pratiquer l'entrée analogique sur une manette de jeu dans ktouch

Observations

• Bien que le processus Python exécutant ce système d'entrée ne consomme généralement pas plus de 10% des ressources du processeur, s'il devait être constamment exécuté en arrière-plan, je le réimplémenterais et l'optimiserais dans un langage de niveau inférieur afin que le processeur puisse faire plus. tâches coûteuses.
• Après avoir acheté une manette de jeu DualShock4, j'ai réalisé que je pouvais faire une entrée diagonale assez précisément. L'intégration de l'entrée diagonale réduira le nombre d'options d'entrée plus complexes, et donc augmentera la vitesse.
• , . , . , , , .
• , . , , .
• . .

En quelques jours, j'ai créé un système de saisie efficace pour les manettes de jeu. De nombreuses améliorations peuvent être apportées, mais cette vérification de concept démontre qu'une saisie de texte efficace sur une manette de jeu est possible. Le code du projet est publié sur github .