[论文解读] Towards a Theoretical Understanding of the Robustness of Variational Autoencoders

Alexander Camuto, Matthew Willetts+3 more|arXiv (Cornell University)|Jul 14, 2020

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了 $r$-鲁棒性，一种用于量化变分自编码器（VAE）对对抗性扰动鲁棒性的新型理论框架。它推导出一个边界 $R^{r}_{/mathcal{X}}(\mathbf{x})$，可保证在有界输入区域内重建结果的相似性，表明更大的编码器方差和更小的雅可比范数可增强鲁棒性——这些机制自然由解耦方法（如 $β$-VAE）所促进。

ABSTRACT

We make inroads into understanding the robustness of Variational Autoencoders (VAEs) to adversarial attacks and other input perturbations. While previous work has developed algorithmic approaches to attacking and defending VAEs, there remains a lack of formalization for what it means for a VAE to be robust. To address this, we develop a novel criterion for robustness in probabilistic models: $r$-robustness. We then use this to construct the first theoretical results for the robustness of VAEs, deriving margins in the input space for which we can provide guarantees about the resulting reconstruction. Informally, we are able to define a region within which any perturbation will produce a reconstruction that is similar to the original reconstruction. To support our analysis, we show that VAEs trained using disentangling methods not only score well under our robustness metrics, but that the reasons for this can be interpreted through our theoretical results.

研究动机与目标

• 为了形式化 VAE 具备鲁棒性的含义，因为目前尚无理论框架可用。
• 为了开发一种专为概率生成模型量身定制的新鲁棒性度量 $r$-鲁棒性。
• 为了推导一个理论上的输入空间边界 $R^{r}_{χ}(\mathbf{x})$，以保证在扰动下重建结果的相似性。
• 为了识别影响鲁棒性的架构与训练因素——特别是编码器方差与雅可比范数。
• 为了展示现有解耦方法如何通过修改这些因素来增强鲁棒性。

提出的方法

• 提出 $r$-鲁棒性作为概率鲁棒性标准：若扰动输入的重建结果更可能落在原始重建的 $r$-球内，则 VAE 是 $r$-鲁棒的。
• 定义一个边界 $R^{r}_{χ}(\mathbf{x})$，使得所有在此边界内的扰动均能保持 $r$-鲁棒性，从而实现可认证的鲁棒性保证。
• 推导出 $R^{r}_{χ}(\mathbf{x})$ 的理论下界，以编码器方差与雅可比范数表示，建立模型特性与鲁棒性之间的联系。
• 利用变分法推导 $β$-VAE 的最优后验，表明增大 $β$ 可增加编码器方差并降低雅可比范数。
• 通过实证验证，较高的 $β$ 值可导致更大的 $R^{r}_{χ}(\mathbf{x})$，在对抗攻击下提升似然度，并降低对噪声的敏感性。
• 通过展示解耦方法可自然增加编码器方差并减少雅可比范数，从而增强 $R^{r}_{χ}(\mathbf{x})$，将解耦方法与鲁棒性联系起来。

实验结果

研究问题

• RQ1 从形式化、理论的角度来看，VAE 的鲁棒性意味着什么？
• RQ2 我们能否在输入空间中定义一个可认证的边界，使得在该边界内 VAE 的重建结果在扰动下保持稳定？
• RQ3 编码器方差与雅可比范数如何影响 VAE 的鲁棒性？
• RQ4 像 $β$-VAE 这类解耦方法在多大程度上通过这些因素增强 VAE 的鲁棒性？
• RQ5 我们能否基于模型架构与训练目标，推导出鲁棒性边界 $R^{r}_{χ}(\mathbf{x})$ 的理论边界？

主要发现

• 理论边界 $R^{r}_{χ}(\mathbf{x})$ 随编码器方差增大而增大，随雅可比范数增大而减小，为模型特性与鲁棒性之间建立了正式联系。
• 实证结果表明，$β$-VAE 中 $β$ 值增大可使整个数据集上的 $R^{r}_{χ}(\mathbf{x})$ 增大，验证了理论预测。
• 更大的 $R^{r}_{χ}(\mathbf{x})$ 值与对抗攻击下原始输入的更高似然度相关，表明鲁棒性更强。
• $R^{r}_{χ}(\mathbf{x})$ 的分布表现良好，方差与偏度均较低，表明其在实践中可实现可靠估计。
• 解耦方法（如 $β$-VAE）通过同时增加编码器方差与减少雅可比范数，自然增强了鲁棒性。
• $R^{r}_{χ}(\mathbf{x})$ 可在数据分布上取平均，从而为 VAE 赋予一个全局鲁棒性评分。