[论文解读] On Memorization in Probabilistic Deep Generative Models

Gerrit J. J. van den Burg, Christopher K. I. Williams|arXiv (Cornell University)|Jun 6, 2021

Generative Adversarial Networks and Image Synthesis参考文献 63被引用 12

一句话总结

本文将监督学习中的记忆度量方法扩展至概率深度生成模型的无监督密度估计，提出一种计算高效的分数以检测记忆现象。研究发现，变分自编码器等模型中的记忆现象与模式崩溃和过拟合不同，且该分数捕捉到了传统最近邻测试所遗漏的现象。

ABSTRACT

Recent advances in deep generative models have led to impressive results in a variety of application domains. Motivated by the possibility that deep learning models might memorize part of the input data, there have been increased efforts to understand how memorization arises. In this work, we extend a recently proposed measure of memorization for supervised learning (Feldman, 2019) to the unsupervised density estimation problem and adapt it to be more computationally efficient. Next, we present a study that demonstrates how memorization can occur in probabilistic deep generative models such as variational autoencoders. This reveals that the form of memorization to which these models are susceptible differs fundamentally from mode collapse and overfitting. Furthermore, we show that the proposed memorization score measures a phenomenon that is not captured by commonly-used nearest neighbor tests. Finally, we discuss several strategies that can be used to limit memorization in practice. Our work thus provides a framework for understanding problematic memorization in probabilistic generative models.<br/>

研究动机与目标

• 将原本针对监督学习设计的记忆度量方法，适配至深度生成模型的无监督密度估计场景。
• 开发一种计算高效的量化方法，用于衡量概率生成模型中的记忆现象。
• 探究变分自编码器等模型中记忆现象的产生机制，其与传统过拟合或模式崩溃有本质区别。
• 证明现有最近邻测试无法检测到本文所识别的特定形式的记忆现象。
• 提出实用的干预策略，以有效降低生成建模中的记忆现象。

提出的方法

• 将 Feldman (2019) 原本为监督学习设计的记忆度量方法，适配至无监督密度估计场景。
• 通过在潜在空间中利用基于似然的估计方法，重新表述记忆分数，以提升计算效率。
• 通过比较训练数据点与其最近邻在似然值上的差异，检测记忆现象。
• 引入一种归一化分数，用于量化模型对训练样本的似然值显著高于其最近邻的程度。
• 利用该分数在不同架构和训练设置下评估变分自编码器中的记忆现象。
• 提出正则化与数据增强技术以减少记忆现象，并通过消融实验验证其有效性。

实验结果

研究问题

• RQ1 如何在无监督设置下度量概率深度生成模型中的记忆现象？
• RQ2 在变分自编码器中，记忆现象与过拟合和模式崩溃有何本质区别？
• RQ3 标准最近邻测试在多大程度上无法检测到生成模型中观察到的这种特定形式的记忆现象？
• RQ4 哪些模型架构或训练流程最容易引发记忆现象？
• RQ5 哪些实用干预措施能有效降低生成建模中的记忆现象？

主要发现

• 所提出的记忆分数能有效检测到变分自编码器中一种与模式崩溃和过拟合不同的记忆现象。
• 此类模型中的记忆现象表现为：模型对训练样本的似然值显著高于其在潜在空间中最近邻的似然值。
• 即使在标准最近邻测试未显示显著偏差的情况下，该分数仍能识别出记忆模式。
• 记忆程度随模型容量和训练时间增加而上升，尤其在对训练数据似然值较高的模型中更为明显。
• 正则化技术（如权重衰减）与数据增强可有效减少记忆现象，且不损害生成质量。
• 本研究证明，记忆现象在无监督生成模型中是可度量且可分析的，应在模型评估中予以重视。