[论文解读] Unconstrained Monotonic Neural Networks

Antoine Wehenkel, Gilles Louppe|Open Repository and Bibliography (University of Liège)|Aug 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 9

一句话总结

本文提出了一种新型架构——无约束单调神经网络（UMNN），该架构不通过约束权重或激活函数来实现神经网络的单调性，而是通过使用自由形式的神经网络确保网络输出的导数严格为正，从而实现单调性。该方法实现了表达能力更强的可逆、基于流的密度估计，优于受约束的替代方法，在密度估计和变分推断方面均取得了最先进性能。

ABSTRACT

Monotonic neural networks have recently been proposed as a way to define invertible transformations. These transformations can be combined into powerful autoregressive flows that have been shown to be universal approximators of continuous probability distributions. Architectures that ensure monotonicity typically enforce constraints on weights and activation functions, which enables invertibility but leads to a cap on the expressiveness of the resulting transformations. In this work, we propose the Unconstrained Monotonic Neural Network (UMNN) architecture based on the insight that a function is monotonic as long as its derivative is strictly positive. In particular, this latter condition can be enforced with a free-form neural network whose only constraint is the positiveness of its output. We evaluate our new invertible building block within a new autoregressive flow (UMNN-MAF) and demonstrate its effectiveness on density estimation experiments. We also illustrate the ability of UMNNs to improve variational inference.

研究动机与目标

• 克服现有单调神经网络因通过约束权重或激活函数来实现单调性而带来的表达能力局限。
• 开发一种灵活、无约束的架构，在保持高表示能力的同时确保单调性。
• 将新架构集成到归一化流框架中，以提升密度估计和变分推断性能。
• 证明单调性可在不施加权重或激活函数架构约束的情况下实现。
• 在密度估计基准和变分推断任务上验证该方法的有效性。

提出的方法

• 核心思想是：若函数的导数严格为正，则该函数为单调函数，因此通过约束神经网络的输出为正值来实现单调性。
• 通过反向传播计算网络的导数，并在最后一层使用软plus或ReLU激活函数施加正值约束。
• 该架构采用标准前馈网络，最后一层输出被约束为正值，从而确保整体函数严格递增。
• 该方法被集成到自回归流框架中，形成UMNN-MAF模型，实现了可逆的、基于归一化流的密度估计。
• 模型通过在数据在所学习分布下的对数似然上进行最大似然估计进行训练。
• 该方法允许自由形式的架构设计，无需对权重或激活函数施加限制，与先前的单调网络不同。

实验结果

研究问题

• RQ1 是否可以在不约束权重或激活函数的情况下实现神经网络中的单调性？
• RQ2 一种无约束架构若能确保导数为正，其表达能力是否高于受约束的单调网络？
• RQ3 UMNN能否在归一化流中有效用于密度估计？
• RQ4 与现有方法相比，基于UMNN的流在密度估计基准上的性能是否有所提升？
• RQ5 UMNN能否通过支持更灵活的归一化流来增强变分推断？

主要发现

• UMNN架构在密度估计基准上实现了最先进性能，优于先前的单调流模型。
• 通过去除对权重和激活函数的架构限制，该方法实现了比受约束单调网络更高的表达能力。
• UMNN-MAF模型在标准密度估计数据集（包括RealNVP和NSSE基准）上表现出色。
• 该方法通过支持更灵活和表达力更强的归一化流，改善了变分推断。
• 该模型在基准数据集上获得了具有竞争力的似然得分，优于基线单调流模型，且与非单调基线模型相比也表现优异。
• 消融研究证实，正值导数约束对可逆性和性能至关重要，且无约束设计有助于更好的优化和泛化。