Bonjour à tous! Je travaille avec des modèles génératifs, l'un de mes projets est le développement DeepFake. Je prévois de créer plusieurs articles sur ce projet. Cet article est le premier dans lequel je considérerai les architectures utilisables, leurs avantages et inconvénients. Parmi les approches existantes pour créer DeepFake, on peut distinguer les suivantes:
Architecture basée sur un codec
Réseaux antagonistes génératifs (GAN)
Architecture codeur-décodeur
Cette approche inclut des méthodes de génération basées sur des auto-encodeurs. Ils sont unis par l'utilisation de pertes de pixels (l'image d'entrée est comparée pixel par pixel à l'image de sortie, les fonctions de perte MSE, MAE, etc. sont optimisées) des pertes, ce qui détermine les avantages et les inconvénients de ce schéma. L'avantage est que les auto-encodeurs sont relativement faciles (par rapport aux GAN) à entraîner. L'inconvénient est que l'optimisation par la métrique des pixels ne permet pas d'atteindre un photoréalisme comparable à d'autres méthodes (encore une fois, dans la comparaison GAN). La première option que j'ai envisagée était un circuit à double décodeur. Plus de détails peuvent être trouvés ici.L'architecture est montrée dans la figure ci-dessous.
: - , , , . , . , . , DeepFake , , .. , . - , ( ) . " - " , .
Condtional Autoencoder
. .
: . latent_dim . , / ( ), , .. .. , . .. , atrributes vectors , , , , .. atrributes vectors , , , . , , .. atrributes vectors . .
, - , - . - "", . , .. .
Conditional GAN
GAN , . .. DeepFake ( - , ), Conditional GAN. GAN Conditional GAN . , .
GAN, . , .. , , . Conditional Gan - Z ( label). . , . Conditional GAN .
( - , - ). attributes vectors , . X GAN . , , GAN . , - DeepFake, , . . DeepFake GAN :
Le développement du projet se poursuit pour le moment. De nombreuses améliorations sont prévues, tout d'abord - augmenter la résolution, élaborer des scènes avec un éclairage complexe. Si vous êtes intéressé, à mesure que de nouveaux résultats apparaissent, il y aura de nouvelles publications.