Mask Guided Discovery of Semantic Manifolds in Generative Models

发布 : 2021-08-17 分类 : 深度学习 浏览 :

image.png

方法

本文方法主要实现是使用mask引导目标区域改变,同时保持mask之外的区域保持不变。使用基于优化的方法进行控制。为了能够得到平滑的结果,同时采样了多个相似的latent code,同时进行优化。公式如下:
image.png
D表示距离度量函数,M表示矩形mask区域, $\vec{x}_{M}^{*}$ 表示基于M 在图像 $\vec{x}^{*}$ 上裁剪的mask 区域。 $\vec{x}_{\bar{M}}^{*}$ 表示M之外的图像。c是改变因子,根据需要确定。文中使用L2 pixel-wise distance 和LPIPS preceptual loss作为距离度量函数。
为了让动画变的更平滑,对原始的w进行了采样得到n维矩阵 $Z=\left[\vec{z}_{1}, \ldots, \vec{z}_{n}\right]^{T} \in \mathbb{R}^{n \times w}$ 。采样这个矩阵要求他们相邻的verctor像素,但也不能过于相似,文中采用如下函数优化:
image.png
文中实验采用 $k=1,2$ 。最后各个损失联合进行优化,优化器使用的是L-BFGS算法:
image.png

总结

该方法直接控制w进行优化得到w+,个人觉得能够取得效果和只对一张图进行优化有很大关系,对于多张图同时优化,未必能够找到合适的W+。

本文作者 : HeoLis
原文链接 : http://ishero.net/Mask%20Guided%20Discovery%20of%20Semantic%20Manifolds%20in%20Generative%20Models.html
版权声明 : 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处!

学习、记录、分享、获得

微信扫一扫, 向我投食

微信扫一扫, 向我投食