[论文解读] Understanding Diffusion Models via Ratio-Based Function Approximation with SignReLU Networks

Luwei Sun, Dongrui Shen+3 more|arXiv (Cornell University)|Jan 29, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

该论文提出一种通过 SignReLU 网络近似比值型泛函 f1/f2 的理论，并将结果应用于扩散模型，推导 DDPM 的有限样本过量 KL 风险界限。

ABSTRACT

Motivated by challenges in conditional generative modeling, where the target conditional density takes the form of a ratio f1 over f2, this paper develops a theoretical framework for approximating such ratio-type functionals. Here, f1 and f2 are kernel-based marginal densities that capture structured interactions, a setting central to diffusion-based generative models. We provide a concise proof for approximating these ratio-type functionals using deep neural networks with the SignReLU activation function, leveraging the activation's piecewise structure. Under standard regularity assumptions, we establish L^p(Omega) approximation bounds and convergence rates. Specializing to Denoising Diffusion Probabilistic Models (DDPMs), we construct a SignReLU-based neural estimator for the reverse process and derive bounds on the excess Kullback-Leibler (KL) risk between the generated and true data distributions. Our analysis decomposes this excess risk into approximation and estimation error components. These results provide generalization guarantees for finite-sample training of diffusion-based generative models.

研究动机与目标

• 在目标呈密度比形式 f1/f2 且与核诱导的边际相关时，激励条件密度估计。
• 使用 SignReLU 网络构建对比率型泛函的严格近似框架。
• 将该框架专门应用于扩散模型并构建基于 SignReLU 的反向过程估计量。
• 推导有限样本的过量 KL 风险界限，分解为近似误差和估计误差。

提出的方法

• 用核诱导的边际定义比率函数类 f1/f2。
• 使用 SignReLU 网络近似 f1 和 f2，并组合除法门以近似比值。
• 在 f1 和 f2 具有均匀正性下，给出 f1/f2 的近似界。
• 通过构建基于 SignReLU 的 DDPM 反向过程估计量，将结果应用于扩散模型。
• 分析前向和后向扩散过程，并通过近似误差和估计误差来界定过量 KL 风险。

实验结果

研究问题

• RQ1 如何在核诱导边际产生的比值型泛函 f1/f2 能被神经网络在可控稳定性下近似？
• RQ2 SignReLU 网络能否高效近似这些比值并给出明确的误差界？
• RQ3 该框架如何为像 DDPM 这样的扩散模型提供有限样本保证？
• RQ4 在本设置下，过量 KL 风险如何分解为近似部分与估计部分？

主要发现

• 存在深度7、宽度为 O(n+9) 的 SignReLU 网络，在均匀正性条件下将 f1/f2 的误差达到 M^{-1}n^{-1/2-3/(2d)} 的近似速率。
• 可以构造一个基于 SignReLU 的 DDPM 反向过程神经估计量，并给出显式的误差分解。
• 过量 KL 风险由一个近似误差项和一个与有限样本量 m 相关的估计误差项构成。
• 命题展示了通过浅层 SignReLU 网络近似核诱导的边际密度以及除法门实现。
• 扩散模型分析给出前向-后向过程差异的界限，并将其与比值形式的贝叶斯预测量联系起来。