Stabiliser la vidéo d'une caméra en mouvement, ou comment tout traduire en un système de coordonnées fixe

Les capacités de vision par ordinateur (CV) remodèlent maintenant complètement le paysage du marché des solutions de sécurité publique. S'il n'est pas facile de surprendre qui que ce soit avec les systèmes de vidéosurveillance traditionnels, et qu'il soit étrange de ne le trouver dans aucun lieu public, l'utilisation de l'IA dans ce domaine est encore nouvelle.

Nous étudions l'application du CV à diverses tâches commerciales de sécurité publique. Dans cet article, nous proposons une option pour traduire la vidéo d'une caméra en mouvement dans un système de coordonnées fixes pour une analyse plus approfondie.

L'ensemble du projet est sur GitHub .

---

Disons que nous avons une sorte de vidéo et que nous voulons construire un système de coordonnées fixe pour cela afin d'évaluer l'emplacement des objets les uns par rapport aux autres.

Pourquoi est-ce nécessaire? Très souvent, dans les tâches de surveillance publique, la vidéo à analyser est filmée avec une caméra en mouvement. Pour cette raison, plusieurs problèmes se posent lors de la détermination de la position des objets les uns par rapport aux autres:

• On ne sait pas ce qui a provoqué le changement des coordonnées de l'objet: la caméra ou l'objet lui-même est en mouvement;
• Lors du changement de scène en raison de la rotation de la caméra, différents objets peuvent obtenir les mêmes coordonnées, même si les objets étaient statiques.

Figure 1 - Les objets identiques ont des coordonnées différentes en raison du mouvement de la caméra

Pour créer un système de coordonnées fixe, vous devez:

1. Déterminez l'origine des coordonnées;
2. Comparez deux images consécutives l'une avec l'autre;
3. , , (, , ..).

2 —

:

1. .
2. : , . . . SIFT, SURF ORB. , . , , , .

3 — matching visualization

1. , .

:

• a, e — x y ;
• b, d — ( a e );
• c, f — ;
• g, h — .

, , . (x,y) (x',y') :

:

$$

$$t\cdot(x',y',1)=H\cdot(x,y,1)(1)$$

:

k- .

N — (f₁,..., f_N). . matching points , f_k f_k-1.

:

— ;

(X_k, Y_k)=((x¹_k, y¹_k),…, (xⁿ_k, yⁿ_k)) – n matching points;

(X'_k, Y'_k) =((x'¹_k, y'¹_k),…, (x'ⁿ_k, y'ⁿ_k)) – n matching points ;

(X''_k, Y''_k) =((x''¹_k, y''¹_k),…, (x''ⁿ_k, y''ⁿ_k)) – k — n matching points , f_k-1.

H_k – , f_k-1 f_k.

, .

(X_k, Y_k) (X'_k, Y'_k). f₁ f_k , .. . H_k.

, (H₁,…, H_k-1). H_k (X_k-1, Y_k-1) (X_k, Y_k), , .

3:

3 — ,



, . a :

x¹_k= x¹_k-1 — a, , a : x'¹_k = x¹_k — a, 3. , , .

?

(H₁,…, H_k-1). , 1 k-1 mathcing points f_k-1 . (1), , — .

$$

$$H_{sup}=H_1\cdot(H_2\cdot(H_3...))(2)$$

, , , f_k-1 f_k, : (X_k-1, Y_k-1) (X_k, Y_k) ( (2)), (X'_k-1, Y'_k-1) (X''_k, Y''_k) H_k. , , (x¹_k, y¹_k) (x'¹_k, y'¹_k).

$$

$$t(x',y',1)=H_{sup} \cdot(x,y,1) (3)$$

: , ( , , .. ), - , . .

:

• "" matching points ((x¹_k, y¹_k),… ,(x'ⁿ_k, y'ⁿ_k)),
• H, k- k-1 .
• ((x'¹_k, y'¹_k),… ,(x'ⁿ_k, y'ⁿ_k))
• :
  
  
  • , ;
  • . , ;
  • - ( LENGTH_ACCOUNTED_POINTS len(matching points)), , , , .

, . .

"" , . , , , , . T , . , motion video segmentation.

.

GitHub , .

• evenvizion_component.py
• evenvizion_visualization.py
• compare_evenvizion_with_original_video.py

evenvizion_component.py

, evenvizion_component.py. , json , f_k-1 f_k. , json , . , , .

- , json --path_to_original_coordinate recalculated_coordinates.json , .

json :

{"frame_no": [{"x1": x coordinate, "y1": y coordinate}, ...], ...}

evenvizion_component.py , 3 ( matching and heatmap --show_matches --visualize_fixed_coordinate_system ).

evenvizion_visualization.py compare_evenvizion_with_original_video.py .

README.

, .

:

matching points — matching visualization:

5 — matching visualization

.

, , (heatmap visualization):

6 — heatmap visualization

20 , , . , . : r=sqrt(x²+y²), heatmap_constant , : 0 — , 1 — .

7 — fixed_coordinate_system_visualization

json , , fixed_coordinate_system_visualization ( 7).

evenvizion_visualization.py compare_evenvizion_with_original_video.py , ( ). 8 9 .

8 — visualize_camera_stabilization

9 — original_video_with_EvenVizion

Known issues

N/a . matching points , , 90 , . video motion segmentation, , , static points motion points. — .

. 4 matching points, , 4 , =None. : none_H_processing True, : H_k=H_k-1. False, H — , . .

. . . :

• . , , (, ).
• findHomography() opencv. .

Ainsi, nous obtenons un composant qui nous permet d'estimer la position réelle des objets les uns par rapport aux autres, de traduire les coordonnées de l'objet en un système stationnaire par rapport au cadre. Parce que Dans cette solution, l'essentiel est d'évaluer la transformation des avions à l'aide de points clés, puis, comme indiqué ci-dessus, le problème peut être résolu même dans de mauvaises conditions de prise de vue (mouvement brusque de la caméra, conditions météorologiques difficiles, prise de vue de nuit, etc.).