[论文解读] Normalizing Flows for Probabilistic Modeling and Inference
本论文对正规化流（normalizing flows）进行了全面综述，详细介绍了它们的定义、表达能力和设计原则，并综述了它们在概率建模、推断和学习中的应用。
Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.
研究动机与目标
- 通过将设计与概率建模和推断相连接，提出对正规化流的统一视角。
- 刻画基于流的模型的表达能力并分析计算权衡。
- 将流与一般的概率变换联系起来，并讨论对结构化领域的扩展。
- 总结包括生成建模、近似推断和监督学习在内的核心应用。
提出的方法
- 将正规化流定义为对基分布的可逆、可微变换，以建模复杂密度。
- 通过变量变换解释密度计算以及雅可比行列式的作用。
- 通过将简单、易处理的变换（有限流）组合起来来描述构建复杂流，并讨论前向/反向传播和雅可比积累。
- 讨论训练目标，如前向KL（最大似然）和反向KL，包括蒙特卡洛梯度估计。
- 概述替代散度（f-散度、IPM）及其对隐式概率模型训练的影响。
- 通过在x空间和u空间之间的变量变换将前向和反向KL观点联系起来，并给出关键等式（KL等价性）。
- 提供历史概览并对流构造方法进行分类（如自回归、平面、样条基、耦合层），重点是可处理的雅可比行列式。
实验结果
研究问题
- RQ1在目标分布相对下，哪些条件能确保基于流的模型具备普遍表达能力？
- RQ2如何构建在表达能力强同时对于采样和密度评估计算可行的流？
- RQ3在流的背景下，不同的训练目标（前向KL、反向KL、以及其他散度）之间有何关系？
- RQ4流与更广泛的概率变换有何关联，它们在结构化域和几何中的扩展是什么？
- RQ5正规化流在生成建模、近似推断和监督学习等方面的典型应用有哪些？
主要发现
- 正规化流可以通过将简单的微分同胚组合起来、且具有可处理的雅可比矩阵来表示广泛的目标分布。
- 密度评估和采样依赖于流中每个变换的可逆性和可处理的雅可比行列式。
- 前向KL（最大似然）训练使模型与目标样本对齐，而反向KL训练使基底诱导分布与目标对齐，两者观念之间存在形式上的等价。
- 基底密度和变换的密度联合决定模型的密度，即使目标的部分部分不可计算也能进行训练。
- 替代散度（f-散度和IPM）提供灵活的训练选项，包括对抗和变分方法。
- 在x空间和u空间中的训练等价性提供了对流优化的统一视角，并将流与隐式概率建模联系起来。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。