[论文解读] Out-domain examples for generative models.

Dario Pasquini, Marco Mingione+1 more|arXiv (Cornell University)|Mar 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 4

一句话总结

本文展示了对抗性输入如何通过操纵模型的潜在空间，迫使预训练生成模型产生任意的分布外样本——即罕见或不可能的输出。该方法生成的对抗性噪声与真实输入无法区分，从而能够可靠地重现低概率的、分布外的样本。

ABSTRACT

Deep generative models are being increasingly used in a wide variety of applications. However, the generative process is not fully predictable and at times, it produces an unexpected output. We will refer to those outputs as out-domain examples. In the present paper we show that an attacker can force a pre-trained generator to reproduce an arbitrary out-domain example if fed by a suitable adversarial input. The main assumption is that those outputs lie in an unexplored region of the generator's codomain and hence they have a very low probability of being naturally generated. Moreover, we show that this adversarial input can be shaped so as to be statistically indistinguishable from the set of genuine inputs. The goal is to look for an efficient way of finding these inputs in the generator's latent space.

研究动机与目标

• 研究预训练生成模型是否可被操纵以生成任意的分布外样本。
• 识别能够触发此类意外、低概率输出的潜在空间中的对抗性输入。
• 确保这些对抗性输入在统计上与真实输入无法区分，以保持隐蔽性。
• 开发一种高效方法，用于在生成器的码域中定位这些对抗性输入。

提出的方法

• 该方法涉及搜索对抗性潜在向量，当输入预训练生成器时，可生成目标分布外样本。
• 该方法假设分布外样本位于生成器输出空间的低概率区域。
• 它将问题形式化为潜在空间中的优化任务，以最小化生成输出与目标分布外样本之间的距离。
• 对抗性输入被约束在与真实数据分布无法区分的范围内，以确保隐蔽性。
• 优化过程使用基于梯度的技术，以高效地导航潜在空间。
• 该方法确保对抗性输入不易通过与真实输入的分布相似性被检测到。

实验结果

研究问题

• RQ1 能否构建对抗性输入，以迫使预训练生成器产生特定的、任意的分布外样本？
• RQ2 如何使此类对抗性输入在统计上与真实数据输入无法区分？
• RQ3 在潜在空间中定位这些对抗性输入的可行性与效率如何？
• RQ4 生成器在多大程度上可被操纵以生成低概率、分布外的输出？
• RQ5 该方法在不同类型的生成模型和分布外目标上的鲁棒性如何？

主要发现

• 对抗性输入可成功迫使预训练生成器产生模型原本不会自然生成的任意分布外样本。
• 生成的对抗性输入在统计上与真实输入无法区分，保持了隐蔽性。
• 该方法能高效地在生成器潜在空间中定位对抗性潜在向量。
• 即使目标分布外样本位于极低概率区域，该方法仍能有效工作。
• 该技术表明，生成模型在其潜在空间中易受有针对性且不可检测的操纵。
• 结果表明，生成器的输出空间中存在可被对抗扰动访问的可利用区域。