[论文解读] On the expressivity of bi-Lipschitz normalizing flows

Alexandre Vérine, Benjamin Négrevergne+2 more|arXiv (Cornell University)|Jul 15, 2021

Image and Signal Denoising Methods参考文献 16被引用 4

一句话总结

本文通过推导目标分布与其近似之间总变差（TV）距离的新下界，研究了双-Lipschitz归一化流的表达能力局限性。结果表明，双-Lipschitz约束——尤其是有界的前向和反向Lipschitz常数——会阻碍对具有高密度或低密度区域的复杂数据分布进行精确建模，并提出使用改进的潜在分布作为补救措施。

ABSTRACT

An invertible function is bi-Lipschitz if both the function and its inverse have bounded Lipschitz constants. Nowadays, most Normalizing Flows are bi-Lipschitz by design or by training to limit numerical errors (among other things). In this paper, we discuss the expressivity of bi-Lipschitz Normalizing Flows and identify several target distributions that are difficult to approximate using such models. Then, we characterize the expressivity of bi-Lipschitz Normalizing Flows by giving several lower bounds on the Total Variation distance between these particularly unfavorable distributions and their best possible approximation. Finally, we discuss potential remedies which include using more complex latent distributions.

研究动机与目标

• 分析双-Lipschitz归一化流在近似复杂数据分布时的表达能力局限性。
• 识别特定的数据分布特征（如高密度或低密度区域）对双-Lipschitz模型构成挑战。
• 推导目标分布与近似分布之间总变差距离的新理论下界。
• 探索补救措施，特别是使用更复杂的潜在分布（如高斯混合模型）以减轻表达能力约束。
• 提供一种适用于任何数据分布的理论框架，且无需对支撑集拓扑施加限制性假设。

提出的方法

• 基于前向映射的Lipschitz常数$L_1$，推导出适用于任何数据分布的TV距离的一般下界。
• 基于反向映射的Lipschitz常数$L_2$，建立第二个下界，突出在建模低密度区域时的局限性。
• 引入第三个依赖于$L_1$和$L_2$的下界，从互补角度揭示表达能力权衡的内在机制。
• 通过引入可学习的均值和方差$\sigma_i$以及模式数$K$，将这些下界适配至高斯混合潜在分布。
• 分析$K$和$\sigma_i$对下界的影响，表明增加$K$或学习$\sigma_i$可缓解近似误差。
• 讨论基于混合模型或连续分区方法的训练挑战，指出其复杂性与不稳定性。

实验结果

研究问题

• RQ1 双-Lipschitz约束在前向和反向映射上的存在，如何限制归一化流对复杂数据分布的近似能力？
• RQ2 在双-Lipschitz约束下，目标分布与其近似之间总变差距离的理论下界是什么？
• RQ3 数据空间中的高密度和低密度区域如何影响双-Lipschitz归一化流中的近似误差？
• RQ4 使用高斯混合潜在分布能否降低TV距离的下界并提升表达能力？
• RQ5 在训练具有复杂潜在分布的模型以克服双-Lipschitz限制时，存在哪些实际与理论挑战？

主要发现

• 本文建立了依赖于前向映射Lipschitz常数$L_1$的总变差距离下界，表明密集数据区域会导致不可避免的近似误差。
• 基于反向映射Lipschitz常数$L_2$推导出第二个下界，表明高密度簇之间的低密度区域同样会引发近似误差。
• 引入第三个依赖于$L_1$和$L_2$的下界，揭示了权衡关系：提升一个常数可能恶化另一个，且无法在整体上普遍改善表达能力。
• 当使用具有$K$个模式和可学习方差$\sigma_i$的高斯混合潜在分布时，下界随$K$增大而上升，但可通过学习$\sigma_i$得到补偿，表明存在改善近似的可行路径。
• 尽管理论前景良好，但基于混合模型或分区的归一化流的实际训练仍具挑战性，主要源于不稳定性以及缺乏高效设置超参数（如$K$）的方法。
• 结果表明，双-Lipschitz约束本质上限制了某些数据分布的表达能力，而补救措施需要精心的架构与训练设计。