GAN Inversion 整理

发布 : 2021-07-19 分类 : 深度学习 浏览 :

GAN Inversion 相关方法整理
《Image2StyleGAN: How to Embed Images Into the StyleGAN Latent Space?》
《Image2StyleGAN++: How to Edit the Embedded Images?》
《In-Domain GAN Inversion for Real Image Editing》
《Force-in-domain GAN inversion》

GAN Inversion是指已知一张图和预训练好的GAN模型,找到使用GAN生成它的Latent code,本文大部分文章使用的GAN 是 StyleGAN 系列,找到图像在该模型上对应的latent code。
现有GAN inversion方法主要存在两步

  • Encoder(Image to code):编码器难训练,表达容量有限。

image.png

  • 优化编码器产生的code

image.png



Image2StyleGAN: How to Embed Images Into the StyleGAN Latent Space?

通过像素级优化,找到输入图像对应的latent code。
image.png
上图是使用inversion latent code生成的图进行人脸编辑的效果,最后一个眼镜加不上,说明网络找的latent code 可能偏离了原始的latent space。
image.png
本文探索了StyleGAN的嵌入算法和图像语义编辑的可能方案。

Image2StyleGAN++: How to Edit the Embedded Images?

本文与上一篇思路一样,依然是通过优化找到图的latent code,上文只考虑了w,本文在此基础上增加了n。
image.png
image.png
本文改进了第一篇的算法,增加了细节提高了质量,本文方法还可以被开发很多应用。

In-Domain GAN Inversionfor Real Image Editing

网络结构
image.png
损失函数
image.png
本文加入鉴别器约束结果不要跳出语义空间。损失函数是来自图像空间而不是latent code 空间,且在真实图像上进行训练。
image.png
通过微调编码器的code进行domain-regularized优化,损失函数见式4,过程见图2(b)。

Force-in-domain GAN inversion

网络结构
image.png
使用Cycle loss 约束训练
image.png
本文提出了一种基于in-domain GAN的force-in-domain GAN,它利用一个鉴别器来强制inversion code进入latent space。force-in-domain GAN也可以用稍加修改的cycleGAN来解释。

本文作者 : HeoLis
原文链接 : http://ishero.net/GAN%20Inversion%20%E6%95%B4%E7%90%86.html
版权声明 : 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处!

学习、记录、分享、获得

微信扫一扫, 向我投食

微信扫一扫, 向我投食