Ma quête de huit ans pour numériser 45 bandes vidéo. Partie 1

Au cours des huit dernières années, j'ai transporté cette boîte de cassettes vidéo dans quatre appartements différents et une maison. Vidéos de famille de mon enfance.







Après plus de 600 heures de travail, je les ai finalement numérisées et organisées correctement pour que les cassettes puissent être jetées.



Partie 2





Voici à quoi ressemble la séquence maintenant:









toutes les vidéos de la famille ont été numérisées et peuvent être visualisées à partir d'un serveur multimédia privé



. Chacun a un titre, une description, la date d'enregistrement, des tags pour tous les participants, indiquant l'âge au moment de l'enregistrement. Tout repose sur un serveur multimédia privé auquel seuls les membres de la famille ont accès, et l'hébergement coûte moins de 1 $ par mois.



Cet article explique tout ce que j'ai fait, pourquoi cela a pris huit ans - et comment obtenir un résultat similaire beaucoup plus facilement et plus rapidement.



Première tentative naïve



Vers 2010, ma mère a acheté une sorte de convertisseur VHS en DVD et y a diffusé toutes nos vidéos personnelles.





Les DVD originaux que maman a fait (je ne sais pas ce qui est arrivé aux lettres manquantes)



Le problème est que maman n’a fait qu’un seul jeu de DVD. Tous les parents vivent dans des états différents, il n'était donc pas pratique de transférer des disques dans un cercle.



En 2012, ma sœur m'a donné ces DVD. J'ai copié les fichiers vidéo et tout mis dans le stockage cloud. Problème résolu!





Extraits de DVD vidéo de famille sur Google Cloud



Quelques semaines plus tard, j'ai demandé si quelqu'un avait regardé les bandes. Il s'est avéré que personne ne regardait. Même moi, je n'ai pas regardé. À l'ère de YouTube, il est ridicule de télécharger des fichiers de trois heures de contenu inconnu à la recherche de séquences intéressantes.



Seule ma mère était ravie: "Super," dit-elle, "maintenant pouvons-nous enfin jeter toutes ces bandes?"



Oh-oh. C'est une question terrible. Et si nous manquions certaines entrées? Et si les cassettes pouvaient être numérisées avec une qualité supérieure? Et si les étiquettes contiennent des informations importantes?



J'ai toujours trouvé inconfortable de jeter les originaux jusqu'à ce que je sois absolument certain que la vidéo a été copiée avec la meilleure qualité possible. Ainsi, j'ai dû me mettre au travail moi-même.



Je n'avais aucune idée de ce dans quoi je m'embarquais.



Ça ne sonne pas si dur



Si vous ne comprenez pas pourquoi cela m'a pris huit ans et des centaines d'heures, je ne vous en veux pas. Je pensais aussi que tout serait facile.



Voici à quoi ressemble le processus de numérisation du début à la fin:







plus précisément, voici à quoi il ressemble en théorie. Voici comment cela s'est passé dans la pratique: la







plupart du temps a été consacré à retravailler ce qui a déjà été fait. J'ai terminé une étape, puis après une ou deux étapes, j'ai trouvé une sorte de défaut dans la technique. J'ai dû revenir en arrière et refaire. Par exemple, j'ai tourné une vidéo de 20 bandes avant de réaliser que l'audio était légèrement désynchronisé. Ou, après plusieurs semaines de montage, j'ai découvert que j'exportais une vidéo dans un format qui ne prend pas en charge le streaming sur Internet.



Pour garder la santé mentale du lecteur, je présente le processus comme s'il avançait systématiquement, pour ne pas vous forcer à sauter constamment en arrière et à tout refaire, comme je devais le faire.



Étape 1. Capturez la vidéo



D'accord, retour en 2012. Maman voulait vraiment jeter les cassettes qu'elle avait gardées pendant vingt ans, alors quand nous nous sommes rencontrés pour la première fois, elle m'a immédiatement remis une énorme boîte en carton. Ma quête de numérisation a donc commencé.



La solution évidente était d'externaliser le travail à des professionnels. De nombreuses entreprises sont engagées dans la numérisation et certaines se spécialisent dans la vidéo domestique.



Mais je suis assez sensible à la vie privée et je ne voulais pas que des inconnus voient nos vidéos de famille avec des moments intimes de leur vie personnelle, y compris mon apprentissage de la propreté (à l'âge approprié; rien d'étrange!). Et je pensais aussi qu'il n'y avait rien de difficile à numériser.



Alerte spoiler: Cela s'est avéré être vraiment difficile.



Première tentative de capture vidéo



Mon père avait encore un vieux magnétoscope familial, alors je lui ai demandé de le sortir du sous-sol pour le prochain dîner de famille. J'ai acheté un adaptateur RCA vers USB bon marché d'Amazon et je me suis mis au travail.





Appareil de capture vidéo TOTMC , le premier des nombreux appareils A / V que j'ai achetés au cours de ma longue quête



Pour traiter la vidéo à partir d'un appareil de capture USB j'ai utilisé VirtualDub, la version 2012 est un peu dépassée mais pas critique.





Images VirtualDub de moi lisant un livre à mon père à l'âge de quatre ans



Attaque avec un son déformé



Lorsque j'ai commencé le processus d'édition, j'ai remarqué une légère désynchronisation entre l'audio et la vidéo. OK pas de problème. Je peux bouger un peu le son.



Dix minutes plus tard, il était de nouveau désynchronisé. Ne l'ai-je pas bougé un peu la première fois?



J'ai progressivement compris que l'audio et la vidéo n'étaient pas simplement désynchronisés, ils étaient en fait enregistrés à des vitesses différentes. Tout au long de la bande entière, ils divergent de plus en plus. Pour synchroniser, je devais régler manuellement le son toutes les quelques minutes.





Si votre appareil capture l'audio et la vidéo à des fréquences différentes, la seule solution consiste à corriger manuellement l'audio toutes les quelques minutes.



Pouvez-vous imaginer à quel point il est difficile de faire la distinction entre l'audio 10 millisecondes plus tôt ou 10 millisecondes plus tard? C'est vraiment dur! Jugez par vous-même.



Dans cette vidéo, je joue avec mon pauvre chaton patient appelé Black Magic. Le son est légèrement désynchronisé. Déterminez s'il est en avance sur la photo ou s'il est en retard?





Un exemple de clip vidéo avec un son et une image désynchronisés



À ce stade, Black Magic saute, un fragment avec un ralentissement de cinq fois:





Son et image désynchronisés, ralentissant cinq fois



Réponse : le son est livré avec un retard de quelques millisecondes.


Peut-être dépenser cent dollars de plus au lieu de centaines d'heures de temps personnel?



La correction sonore à elle seule a nécessité de nombreuses heures de travail fastidieux et exaspérant. En fin de compte, il m'est apparu qu'il était possible d'éviter la désynchronisation en utilisant un appareil de capture vidéo meilleur et plus cher. Après avoir fait quelques recherches, j'en ai acheté un nouveau sur Amazon:





Ma deuxième tentative d'acquisition d' un appareil de capture vidéo



Même avec un nouvel appareil, la désynchronisation n'a pas disparu.



Magnétoscope avec préfixe «super»



Le problème vient peut-être du magnétoscope. Sur les forums de numérisation , il a été dit qu'il n'y aurait pas de désynchronisation sur un magnétoscope avec un «correcteur temporel» (TBC), cette fonction est disponible sur tous les magnétoscopes Super VHS (S-VHS).



Oui bien sur! Pourquoi devrais-je jouer avec un stupide magnétoscope ordinaire alors qu'il y a un super- magnétoscope qui résout le problème?



Personne ne fabrique plus de magnétoscopes S-VHS, mais ils sont toujours disponibles sur eBay. Pour 179 $, j'ai acheté un modèle JVC SR-V10U qui semble bien fonctionner pour la numérisation de VHS:





VCR Vintage JVC SR-V10U que j'ai acheté sur eBay pour 179 $



Le magnétoscope "Super" est venu par courrier. Après plusieurs mois de lutte avec un son désynchronisé, j'étais ravi qu'il y ait un équipement qui résoudrait tous mes problèmes.



J'ai ouvert la boîte, tout branché - mais le son était toujours enregistré à une vitesse différente. Eh.



Dépannage fastidieux et années de lutte



Je me suis lancé dans une tentative pathétique de dépannage. C'était pénible à regarder. Chaque fois que je sortais tout l'équipement du placard, je rampais à genoux derrière le bureau pour tout connecter, essayais de capturer une vidéo - et encore une fois, je regardais que rien ne se passait.



Ici, je suis tombé sur un message aléatoire sur un forum de 2008, qui parle d'installer un étrange pilote chinois sans signature ... C'est une idée terrible, mais je suis désespéré. Cependant, il n'a pas aidé.



J'ai essayé différents programmes de numérisation. J'ai acheté une cassette VHS spéciale pour nettoyer les têtes magnétiques du magnétoscope. J'ai acheté un troisième appareil de capture vidéo . Rien n'a aidé.



J'ai toujours abandonné, tout éteint et caché le matériel dans le placard pendant encore plusieurs mois.



Nous abandonnons et donnons les cassettes aux professionnels



2018 est arrivé. Je traînais des bandes vidéo et des tonnes de matériel dans quatre appartements différents et j'étais sur le point de déménager de New York au Massachusetts. Je n'ai pas pu trouver la force de les porter à nouveau, car je réalisais déjà que je ne finirais jamais ce projet par moi-même.



J'ai demandé à la famille s'ils pouvaient faire don des bandes à une entreprise de numérisation. Heureusement, personne ne s'est opposé - tout le monde voulait revoir les enregistrements.



Moi : Mais cela signifie qu'une entreprise aura accès à toutes nos vidéos personnelles. Est-ce que ça te va?

Sœur : Je m'en fiche. Cela vous inquiète seul. Attendez, vous auriez pu payer quelqu'un dès le début?

Moi : Euh-euh ...


La numérisation des 45 cassettes coûte 750 $. Cela semble cher, mais à ce moment-là, j'aurais payé ce que je veux, juste pour ne plus m'occuper de cet équipement.



Quand ils ont donné les fichiers, la qualité vidéo était nettement meilleure. Dans mes clichés, les distorsions étaient toujours visibles sur les bords du cadre, mais les spécialistes ont tout numérisé sans aucune distorsion. Plus important encore, l'audio et la vidéo sont parfaitement synchronisés.



Voici une vidéo comparant la numérisation professionnelle et mes tentatives de homebrew:





Comparaison de la numérisation professionnelle et maison dans la vidéo où ma maman filme ma première tentative de programmation



Étape 2. Modification



En tournage à domicile, environ 90% du matériel est ennuyeux, 8% est intéressant et 2% est incroyable. Après la numérisation, vous avez encore beaucoup de travail à faire.



Montage dans Adobe Premiere



Sur une cassette VHS, un long flux de clips vidéo est entrecoupé de sections vierges. Pour éditer la bande, vous devez définir le début et la fin de chaque clip.



Pour l'édition, j'ai utilisé Adobe Premiere Elements, qui coûte moins de 100 $ pour une licence à vie. Sa caractéristique la plus importante est une chronologie évolutive. Il vous permet de trouver rapidement les limites d'une scène, puis de zoomer pour trouver l'image vidéo exacte où le clip commence ou se termine.





Chronologie critique avec mise à l'échelle dans Adobe Premiere Elements



Le problème avec Premiere est que le processus nécessite des étapes manuelles constantes, mais la numérisation et l'exportation peuvent prendre beaucoup de temps. Voici ma séquence d'opérations:



  1. Ouvrez un fichier brut contenant 30 à 120 minutes de vidéo.

  2. Marquez les limites d'un clip individuel.

  3. Exporter le clip.

  4. Attendez 2 à 15 minutes pour que l'exportation se termine.

  5. Répétez les étapes 2 à 4 jusqu'à ce que la bande soit épuisée.


La longue attente signifiait que je basculais constamment entre le montage vidéo et une autre tâche, déplaçant mon attention d'avant en arrière pendant plusieurs heures.



Un autre inconvénient était la non-reproductibilité. Corriger un petit bug était presque aussi difficile que de le faire à partir de zéro. Cela m'a beaucoup frappé quand il s'agissait de publier des vidéos. Ce n'est qu'alors que j'ai réalisé que pour diffuser sur Internet, il était nécessaire d'exporter initialement la vidéo dans un format pris en charge nativement par les navigateurs Web. J'ai été confronté à un choix: redémarrer le processus fastidieux d'exportation de centaines de clips, ou ré-encoder les vidéos exportées dans un format différent avec une qualité dégradée.



Édition de l'automatisation



Après beaucoup de temps consacré au travail manuel, je me suis demandé s'il y avait un moyen d'appliquer l'IA ici. La détermination des limites des clips semble être une tâche appropriée pour l'apprentissage automatique. Je savais que la précision ne serait pas parfaite, mais laissez-le faire au moins 80% du travail et je corrigerai les 20% restants.



J'ai expérimenté un outil appelé pyscenedetect qui analyse les fichiers vidéo et donne des horodatages où les changements de scène ont lieu:



 $ docker run \
    --volume "/videos:/opt" \
    handflucht/pyscenedetect \
    --input /opt/test.mp4 \
    --output /opt \
    detect-content --threshold 80 \
    list-scenes
[PySceneDetect] Output directory set:
  /opt
[PySceneDetect] Loaded 1 video, framerate: 29.97 FPS, resolution: 720 x 480
[PySceneDetect] Downscale factor set to 3, effective resolution: 240 x 160
[PySceneDetect] Scene list CSV file name format:
  $VIDEO_NAME-Scenes.csv
[PySceneDetect] Detecting scenes...
[PySceneDetect] Processed 55135 frames in 117.6 seconds (average 468.96 FPS).
[PySceneDetect] Detected 33 scenes, average shot length 55.7 seconds.
[PySceneDetect] Writing scene list to CSV file:
  /opt/test-Scenes.csv
[PySceneDetect] Scene List:
-----------------------------------------------------------------------
 | Scene # | Start Frame |  Start Time  |  End Frame  |   End Time   |
-----------------------------------------------------------------------
 |      1  |           0 | 00:00:00.000 |        1011 | 00:00:33.734 |
 |      2  |        1011 | 00:00:33.734 |        1292 | 00:00:43.110 |
 |      3  |        1292 | 00:00:43.110 |        1878 | 00:01:02.663 |
 |      4  |        1878 | 00:01:02.663 |        2027 | 00:01:07.634 |
 ...


L'outil a montré une précision d'environ 80%, mais il a fallu plus de temps pour valider que pour économiser. Cependant, pyscenedetect a fait l'une des découvertes les plus importantes pour l'ensemble du projet: la définition des limites de la scène et l'exportation du clip sont des tâches distinctes.



Je me suis souvenu que je suis programmeur



Jusque-là, tout ce que j'ai fait dans Adobe Premiere était considéré comme du «montage». Découper des éléments à partir d'images brutes semblait inextricablement lié à la recherche des limites d'un élément, car c'est ainsi que Premiere imaginait la tâche. Lorsque pyscenedetect a imprimé la table de métadonnées, cela m'a fait comprendre que je pouvais séparer la recherche de scène de l'exportation vidéo. C'était une percée.



La raison pour laquelle le montage était si fastidieux et chronophage était que je devais attendre que Premiere exporte chaque clip. Si j'écrivais les métadonnées dans une feuille de calcul et écrivais un script qui exporte automatiquement la vidéo, le processus d'édition s'envolerait.



De plus, les feuilles de calcul ont considérablement augmenté la quantité de métadonnées. Au départ, j'ai entassé des métadonnées dans le nom du fichier, mais cela les limite. Avoir une feuille de calcul entière m'a permis de cataloguer beaucoup plus d'informations sur le clip, telles que qui est dedans, quand il a été enregistré, et toutes les autres données que je veux montrer pendant la démo vidéo. Une feuille de calcul géante avec des métadonnées sur mes vidéos personnelles J'ai plus tard pu utiliser ces métadonnées pour ajouter des informations aux clips, telles que notre âge et une description détaillée de ce qui se passait dans le clip. La fonctionnalité de feuille de calcul vous permet d'enregistrer des métadonnées qui fournissent plus d'informations sur les clips et les rendent plus faciles à visualiser



















Le succès de la solution automatisée



Avec les feuilles de calcul en main, j'ai écrit un script qui découpait la vidéo brute en clips basés sur les données CSV.



Voici une séquence de ce à quoi il ressemble en action:







à ce stade, j'ai passé des centaines d' heures à sélectionner fastidieusement les limites d'un clip dans Premiere, à appuyer sur l'exportation, à attendre quelques minutes la fin, puis à recommencer. De plus, le processus a été répété plusieurs fois sur les mêmes clips, lorsque des problèmes de qualité ont été détectés plus tard.



Dès que j'ai automatisé une partie du détourage, une énorme charge est tombée de mes épaules. Je n'avais plus à me soucier d'oublier les métadonnées ou de choisir le mauvais format de sortie. Si vous obtenez une erreur plus tard, vous pouvez simplement corriger le script et tout répéter.



Partie 2



La numérisation et l'édition de vidéos ne représentent que la moitié de la bataille. Nous devons encore trouver une option pratique pour publier sur Internet, afin que tous les proches regardent la vidéo de la famille dans un format pratique avec une diffusion en continu comme sur YouTube.



Dans la deuxième partie de cet article, je vais entrer dans les détails sur la façon d'obtenir un serveur multimédia open source avec tous les clips vidéo, ce qui ne me coûte que 77 cents par mois.



Continuation,

Partie 2











All Articles