[论文解读] Two Calm Ends and the Wild Middle: A Geometric Picture of Memorization in Diffusion Models

Nick Dodson, Xinyu Gao+3 more|arXiv (Cornell University)|Feb 19, 2026

Privacy-Preserving Technologies in Data被引用 0

一句话总结

论文提出一个几何框架，识别出有三种噪声 Regimes（小、中、大），并在中间的危险区域达到最高的记忆化，再提出通过对该区域的低训练来进行几何驱动的缓解，同时尽量保留生成质量。

ABSTRACT

Diffusion models generate high-quality samples but can also memorize training data, raising serious privacy concerns. Understanding the mechanisms governing when memorization versus generalization occurs remains an active area of research. In particular, it is unclear where along the noise schedule memorization is induced, how data geometry influences it, and how phenomena at different noise scales interact. We introduce a geometric framework that partitions the noise schedule into three regimes based on the coverage properties of training data by Gaussian shells and the concentration behavior of the posterior, which we argue are two fundamental objects governing memorization and generalization in diffusion models. This perspective reveals that memorization risk is highly non-uniform across noise levels. We further identify a danger zone at medium noise levels where memorization is most pronounced. In contrast, both the small and large noise regimes resist memorization, but through fundamentally different mechanisms: small noise avoids memorization due to limited training coverage, while large noise exhibits low posterior concentration and admits a provably near linear Gaussian denoising behavior. For the medium noise regime, we identify geometric conditions through which we propose a geometry-informed targeted intervention that mitigates memorization.

研究动机与目标

• 用几何视角启发并分析扩散模型中的记忆化与泛化。
• 表征后验权重集中度和高斯壳覆盖在不同噪声尺度上的变化。
• 识别中等噪声中最易出现记忆化的“危险区”。
• 通过选择性地对中间噪声 regime 进行低训练来提出缓解策略。
• 在 CIFAR-10 及相关数据集上的实证实验验证框架。

提出的方法

• 将后验权重 m_sigma 定义为带权重 w_i(x,sigma) 的经验最优去噪器（方程 2 与方程 3）。
• 引入高斯壳覆盖来建模训练过程中的监督区域（S_sigma(x) 与覆盖率 C_sigma）。
• 将噪声时间表按照后验集中度与覆盖率划分为三大区域：小、中（危险区）、大。
• 通过轨迹层面与每个噪声水平的指标分析记忆化，包括 d_1NN/d_2NN 的记忆化测试。
• 给出理论结果（定理 4.2、4.8、4.9、4.11），描述权重集中阈值、覆盖边界与大噪声线性去噪。
• 通过对中等噪声 regime 的低训练并进行去噪器置换实验来提出实际缓解方法并进行验证。

Figure 1 : MSE to Clean Image. Comparison of denoising quality across noise levels. Solid lines: training data; dotted lines: test data. EDM-1K shows a generalization gap in the mid- $\sigma$ region.

实验结果

研究问题

• RQ1 在扩散模型的哪些噪声水平会产生记忆化？驱动它的几何机制是什么？
• RQ2 后验权重集中度与高斯壳覆盖在噪声时间表上如何变化，它们如何相互作用以形成危险区？
• RQ3 是否可以通过针对中间噪声 regime 的训练来缓解记忆化，同时不牺牲生成质量？
• RQ4 在不同训练数据情境下，轨迹层面的记忆化与每个噪声水平的记忆化之间有何关系？

主要发现

• 记忆化风险在噪声水平上并非均匀分布，在被称为危险区的中等噪声 regime 达到峰值。
• 小噪声 regime 由于覆盖不足而抑制记忆化；大噪声 regime 由于后验集中度弱和近线性去噪而抑制记忆化。
• 按噪声水平记记忆化在中间 regime 集中，在该区域进行去噪器置换会改变记忆化行为。
• 实证结果显示后验权重集中度与高斯壳覆盖在中等噪声水平附近出现显著跃迁，与记忆化风险一致。
• 去噪器置换实验表明，针对中间 regime 的干预可以在保持生成质量的同时缓解记忆化。
• 理论结果（定理 4.2、4.8、4.9、4.11）形式化了权重集中、覆盖行为以及大噪声 regime 的极限线性去噪。

Figure 2 : Per-Noise-Level Memorization Rate. Fraction of denoised test images classified as memorized at each noise level.