Conditional Generation by GAN

发布 : 2020-12-27 分类 : GAN 浏览 :

李宏毅老师GAN课程的第二讲

有监督条件GAN

条件GAN与一般的GAN,区别主要在于,输入数据是成对出现的,即(条件,X)。
image.png
训练时,只有当图像质量较好并且条件正确才会认为整体较好。对应算法流程如下:
image.png
常见的架构如下:
image.png

生成大图

image.png
分阶段提升分辨率

无监督条件GAN

1.直接转换

  • 方法1

image.png
生成器是无监督方式训练的。如果生成器G并不是很深,那么G无需约束,也会有比较好的效果。
image.png

  • 方法2

image.png
使用预训练模型,分别提取X和Y的特征向量,计算相似度,约束生成图像与原图尽量相似。

  • 方法3

image.png
使用生成的图作为输入,训练新的生成器恢复原图,这也是约束生的图与原图有更多相似的特征。假如它没有那么多相似的特征,那么就不太可能生成原来的图像。

Cycle GAN

image.png
把这个过程反过来再做一遍,就是Cycle GAN了。但它存在问题,中间结果可能会隐藏人眼看不到的信息,再恢复时会显现出来,那么这就失去了起初创建他的意义了。
image.png
房顶上的特征,在中间结果是看不到的,在还原时又显示出来了。所以,这种约束不一定会起作用。

StarGAN

在多个域之间进行相互转换,相互部分利用的是CycleGAN思想。
image.png
生成器那块圈圈是利用了CycleGAN约束的思想。


2.

本文作者 : HeoLis
原文链接 : http://ishero.net/Conditional%20Generation%20by%20GAN.html
版权声明 : 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处!

学习、记录、分享、获得

微信扫一扫, 向我投食

微信扫一扫, 向我投食