[论文解读] NanoFlow: Scalable Normalizing Flows with Sublinear Parameter Complexity

Sang-gil Lee, Sungwon Kim+1 more|arXiv (Cornell University)|Jun 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 4

一句话总结

NanoFlow 提出了一种参数高效的归一化流架构，该架构在多个流阶段中使用单一共享的神经密度估计器，将参数复杂度降低至近乎恒定水平。通过引入参数分解和流指示嵌入，它在显著降低内存使用的同时，实现了具有竞争力的密度估计与生成性能，从而实现了可扩展的、亚线性复杂度的归一化流。

ABSTRACT

Normalizing flows (NFs) have become a prominent method for deep generative models that allow for an analytic probability density estimation and efficient synthesis. However, a flow-based network is considered to be inefficient in parameter complexity because of reduced expressiveness of bijective mapping, which renders the models unfeasibly expensive in terms of parameters. We present an alternative parameterization scheme called NanoFlow, which uses a single neural density estimator to model multiple transformation stages. Hence, we propose an efficient parameter decomposition method and the concept of flow indication embedding, which are key missing components that enable density estimation from a single neural network. Experiments performed on audio and image models confirm that our method provides a new parameter-efficient solution for scalable NFs with significant sublinear parameter complexity.

研究动机与目标

• 为解决传统归一化流的高参数复杂度问题，该问题限制了其在实际应用中的可扩展性。
• 通过重新思考流参数化方式，将模型表达能力与线性增长的参数数量解耦。
• 使单个神经网络能够建模多个流变换，同时不牺牲可逆性或表达能力。
• 系统性地评估在参数高效的前提下，跨流堆栈共享密度估计的可行性。
• 为未来的基于流的模型提供一个模块化、可扩展的基础，实现表达能力与内存成本之间的可控权衡。

提出的方法

• 引入一个共享的神经密度估计器，用于参数化所有流变换，从而大幅降低每个流的参数开销。
• 采用参数分解技术，在不增加模型大小的前提下增强共享表示的表达能力。
• 提出流指示嵌入，以流特定信息为条件，使共享估计器能够实现不同阶段的独立密度建模。
• 通过结构化流设计确保雅可比行列式保持解析可处理，从而维持可逆性。
• 采用双边流架构，以实现高效的雅可比行列式计算和稳定的训练。
• 将在多个流堆栈中应用共享估计器，实现参数量随流深度增加而呈亚线性增长。

实验结果

研究问题

• RQ1 一个单一的神经密度估计器是否能有效建模多个流变换，同时保持可逆性？
• RQ2 参数分解与流指示嵌入是否能在共享估计器设置下提供足够的表达能力？
• RQ3 共享估计在多大程度上降低了参数复杂度而不损害性能？
• RQ4 当流架构中自回归偏差程度不同时，该方法的表现如何？
• RQ5 共享估计器方法是否能以极低的内存开销扩展到复杂的生成任务（如音频和图像建模）？

主要发现

• NanoFlow 实现了亚线性参数复杂度，模型大小几乎与流层数量无关。
• 该方法在参数效率方面优于标准归一化流，同时在图像和音频基准测试中保持了具有竞争力的似然得分。
• 流指示嵌入显著提升了共享估计器的建模能力，使其能够在多个流阶段实现精确的密度估计。
• 参数分解在增加极少额外参数的情况下增强了表达能力，证明了对共享表示的有效利用。
• 该方法在双边流上表现最佳，表明其架构与所提出的参数化方案之间存在强烈协同效应。
• 实验结果证实，NanoFlow 能够实现可扩展、内存高效的归一化流，适用于实际部署。