[论文解读] Piecewise Normalizing Flows

H. T. J. Bevins, Will Handley+1 more|arXiv (Cornell University)|May 4, 2023

Machine Learning and Data Classification被引用 4

一句话总结

本文提出分段归一化流（PNF），通过在训练前将目标数据聚类为多个模式，为每个聚类分别训练独立的归一化流，从而提升多模态密度估计性能。通过将每个聚类的拓扑结构与标准正态基分布对齐，PNF 在早期停止情况下相比先前方法（如学习型拒绝采样，Stimper 等，2022）实现了更高的模拟精度，同时支持并行训练，并能更好地表达复杂分布。

ABSTRACT

Normalizing flows are an established approach for modelling complex probability densities through invertible transformations from a base distribution. However, the accuracy with which the target distribution can be captured by the normalizing flow is strongly influenced by the topology of the base distribution. A mismatch between the topology of the target and the base can result in a poor performance, as is typically the case for multi-modal problems. A number of different works have attempted to modify the topology of the base distribution to better match the target, either through the use of Gaussian Mixture Models (Izmailov et al., 2020; Ardizzone et al., 2020; Hagemann & Neumayer, 2021) or learned accept/reject sampling (Stimper et al., 2022). We introduce piecewise normalizing flows which divide the target distribution into clusters, with topologies that better match the standard normal base distribution, and train a series of flows to model complex multi-modal targets. We demonstrate the performance of the piecewise flows using some standard benchmarks and compare the accuracy of the flows to the approach taken in Stimper et al. (2022) for modelling multi-modal distributions. We find that our approach consistently outperforms the approach in Stimper et al. (2022) with a higher emulation accuracy on the standard benchmarks.

研究动机与目标

• 为解决标准归一化流在多模态分布上性能不佳的问题，其根源在于基分布与目标分布之间的拓扑不匹配。
• 通过将目标分布划分为拓扑更简单的聚类，提升流模型的表达能力与训练效率。
• 开发一种可微分、双射的框架，在保持可逆性的同时支持跨聚类的并行训练。
• 在标准多模态分布基准测试中，证明其性能优于最先进方法（如学习型拒绝采样，Stimper 等，2022）。

提出的方法

• 该方法首先使用可微聚类算法对目标样本进行聚类，将每个样本分配至 k 个聚类之一。
• 为每个聚类分别训练一个归一化流（例如 MAF），每个聚类使用标准正态分布作为基分布。
• 每个流学习从标准正态分布到其所属聚类内目标条件分布的可逆变换。
• 当聚类分配已知时，整体模型是可微分且双射的，从而支持在整个目标分布上进行采样与密度评估。
• 该架构支持对各个流进行并行训练，显著缩短整体训练时间并提升可扩展性。
• 该方法在标准基准数据集和物理数据集上进行评估，并与单一流模型及学习基分布方法进行性能对比。

实验结果

研究问题

• RQ1 将多模态目标分布划分为聚类，是否能相比使用单一基分布的标准流，提升归一化流建模的准确性？
• RQ2 与学习型拒绝采样（Stimper 等，2022）相比，分段归一化流在密度估计精度与训练效率方面表现如何？
• RQ3 该分段方法在多大程度上减少了标准归一化流中常见的模式间虚假‘桥梁’的形成？
• RQ4 聚类的使用是否能提升训练收敛速度并降低计算成本，尤其是在早期停止条件下？
• RQ5 该方法是否能在支持多个流并行训练的同时，保持可微分性与双射性？

主要发现

• 在标准多模态基准测试中，分段归一化流方法在模拟精度上始终优于 Stimper 等（2022）的方法，尤其在早期停止情况下表现更优。
• PNF 方法通过将每个聚类的拓扑与高斯基分布对齐，显著减少了模式间虚假桥梁的形成，图 1 中已通过可视化验证。
• 该方法支持按聚类对各流进行并行训练，大幅提升了训练效率与可扩展性。
• 在物理数据集（HEPMASS、MINIBOONE、POWER、GAS）上，PNF 表现与标准 MAF 相当，但轮廓系数显示 k=2 为最小测试聚类数时最优，表明这些数据集的多模态性有限。
• 当聚类分配固定且聚类过程可微时，该方法保持了可微分性与双射性，保留了归一化流的核心优势。
• 该方法在缓解机器学习中的数据驱动选择偏差方面具有潜力，可通过用户自定义聚类权重实现数据生成。