Vous pouvez lire non seulement sur les lèvres pendant une conversation, mais également sur les mains qui flottent sur le clavier. Ainsi, par les mouvements des mains vus par les attaquants lors de l'appel vidéo, il est possible de deviner des mots de passe et des mots de code tapés sur un clavier QWERTY traditionnel.
Les développeurs américains ont créé un algorithme spécial capable de lire les mouvements des contours des épaules et des bras de l'utilisateur en tapant sur le clavier, en les analysant et en les comparant avec les caractères saisis. Ensuite, l'IA prépare une liste de lettres et de chiffres probablement tapés, ce qui permet, par exemple, de récupérer des caractères tapés lors de l'autorisation. Et tout cela - en temps quasi réel, lors d'une visioconférence.
Il existe un moyen de déterminer les caractères tapés sur le clavier par le son des frappes. Cela nécessite un accès au PC cible. La méthode, cependant, est inexacte, car le bruit naturel interfère considérablement avec la perception et l'analyse. De plus, la cryptanalyse acoustique ne fonctionne pas pour les claviers avec des frappes de faible amplitude.
L'algorithme, inventé par des développeurs de l'Université du Texas à San Antonio, prend en compte la vitesse de frappe, l'ordre dans lequel les aiguilles sont utilisées, surveille leur mouvement et compte le nombre probable de lettres dans un mot. L'arsenal de l'application comprend un dictionnaire des mots les plus populaires utilisés comme mots de passe. Selon les chercheurs, le signal vidéo est moins sujet à la distorsion que l'audio.
L'algorithme d'analyse et de décodage vidéo fonctionne comme suit:
- .
- .
- .
- .
- : .
- .
- , .
Les chercheurs ont testé l'algorithme dans diverses conditions.
Dans un cas, ils ont utilisé un dictionnaire de 65 000 mots parmi les plus populaires et ont distribué les 50 mots les plus probables d'une sélection. La précision dépendait des plates-formes Web utilisées. Les mots prédits les plus précis saisis dans Skype. Dans des conditions identiques, cela s'est avéré 3,4% plus précis que Zoom et 8% plus précis que Hangouts.
Dans un autre cas, ils ont pris un dictionnaire de 4 mille mots. Mais 75% des mots saisis figuraient sur la liste des 200 mots les plus probables.
Une nuance intéressante: le travail de l'algorithme est fortement dépendant des vêtements des sujets. Par exemple, les personnes à mains nues sont plus susceptibles d'être attaquées. La précision de reconnaissance des caractères saisis lorsque les participants à l'expérience portaient des vêtements sans manches était de 81,7%, contre 74,4% et 73% de la précision avec des manches longues et courtes, respectivement.
Le type de clavier et la distance entre les touches affectent le style de frappe et la précision de la reconnaissance. Mais, comme il s'est avéré, ce n'est pas si essentiel pour la précision. Le clavier Logitech est nettement plus grand que l'Anker, mais la précision est presque identique.
En plus des tests en laboratoire, les développeurs ont observé 10 participants dans leur environnement domestique typique: sept hommes et trois femmes. Tous les participants avaient à peu près la même vitesse de frappe de 3,7 clics par seconde et un taux d'erreur de 86,7%. Pour la pureté de l'expérience, un certain nombre de conditions limites ont été introduites: durée d'appel de 30 minutes, activités PC recommandées à 10 minutes, etc.
À la suite de l'expérience, il s'est avéré qu'à la maison, tout le monde n'utilisait pas la position des caméras, similaire aux conditions de laboratoire. De plus, une résolution différente des webcams a affecté la précision des informations produites par l'algorithme. Dans un cas, les cheveux couvraient complètement la zone de l'avant-bras, privant l'algorithme de la capacité d'analyse. Donc en général, ce n'est pas si difficile de se défendre.
