[论文解读] Precise Recovery of Latent Vectors from Generative Adversarial Networks

Zachary C. Lipton, Subarna Tripathi|arXiv (Cornell University)|Feb 15, 2017

Generative Adversarial Networks and Image Synthesis参考文献 5被引用 94

一句话总结

论文提出一种带有随机裁剪的基于梯度的反演方法，能够从 GANs 中以任意高的精度恢复潜在向量，对噪声具有鲁棒性，并且对未见图像呈现出唯一性。

ABSTRACT

Generative adversarial networks (GANs) transform latent vectors into visually plausible images. It is generally thought that the original GAN formulation gives no out-of-the-box method to reverse the mapping, projecting images back into latent space. We introduce a simple, gradient-based technique called stochastic clipping. In experiments, for images generated by the GAN, we precisely recover their latent vector pre-images 100% of the time. Additional experiments demonstrate that this method is robust to noise. Finally, we show that even for unseen images, our method appears to recover unique encodings.

研究动机与目标

• 证明 GAN 生成器在实际中可以实现任意精度的反演。
• 证明重建对加入噪声的鲁棒性。
• 研究在未见图像中恢复的潜在编码是否具有唯一性。

提出的方法

• 在潜在空间定义优化以最小化 ||phi(z) - phi(z')||^2。
• 使用梯度下降用逐渐减小的学习率更新 z'以最小化图像空间的重构误差。
• 通过裁剪到 [-1,1] 来强制潜在约束，引入随机裁剪以避免边界陷入的解。
• 比较标准裁剪、无裁剪和随机裁剪在重建精度上的差异。

实验结果

研究问题

• RQ1 梯度优化是否能够以零重建误差恢复原始潜在向量？
• RQ2 对于给定图像，在多次实验中恢复的潜在向量是否唯一？
• RQ3 在图像添加噪声后，重建的鲁棒性如何？

主要发现

技术	10^-4	10^-3	10^-2	10^-1
无裁剪	0.98	0.986	0.998	1.0
标准裁剪	0.984	0.99	1.0	1.0
随机裁剪	1.0	1.0	1.0	1.0

• 随机裁剪在所有测试阈值下对 1000 次试验实现了 100% 的精确重建（|z - z'|^2/100 < epsilon）。
• 标准裁剪和无裁剪也表现出很高的重建精度，但随机裁剪在各阈值下始终达到精确。
• 在图像中加入高斯噪声时，重建仍然准确，z 空间误差与加入的噪声成正比增长。
• 对于未见图像，恢复的编码彼此非常接近，相对于随机潜在向量，表明编码几乎具有唯一性。