[论文解读] Natural-Parameter Networks: A Class of Probabilistic Neural Networks

Hao Wang, Xingjian Shi+1 more|arXiv (Cornell University)|Nov 2, 2016

Machine Learning and Data Classification参考文献 23被引用 38

一句话总结

本文提出自然参数网络（NPN），一种使用任意指数族分布建模权重和神经元的概率神经网络，可在无需采样的情况下实现灵活的贝叶斯不确定性估计。通过反向传播学习自然参数，NPN 在分类、回归和无监督表征学习任务中均达到最先进性能，同时提供具备不确定性的中间表征。

ABSTRACT

Neural networks (NN) have achieved state-of-the-art performance in various applications. Unfortunately in applications where training data is insufficient, they are often prone to overfitting. One effective way to alleviate this problem is to exploit the Bayesian approach by using Bayesian neural networks (BNN). Another shortcoming of NN is the lack of flexibility to customize different distributions for the weights and neurons according to the data, as is often done in probabilistic graphical models. To address these problems, we propose a class of probabilistic neural networks, dubbed natural-parameter networks (NPN), as a novel and lightweight Bayesian treatment of NN. NPN allows the usage of arbitrary exponential-family distributions to model the weights and neurons. Different from traditional NN and BNN, NPN takes distributions as input and goes through layers of transformation before producing distributions to match the target output distributions. As a Bayesian treatment, efficient backpropagation (BP) is performed to learn the natural parameters for the distributions over both the weights and neurons. The output distributions of each layer, as byproducts, may be used as second-order representations for the associated tasks such as link prediction. Experiments on real-world datasets show that NPN can achieve state-of-the-art performance.

研究动机与目标

• 解决在训练数据有限时标准神经网络存在的过拟合与不确定性估计不佳问题。
• 克服现有贝叶斯神经网络在权重和神经元上假设高斯分布所导致的刚性限制。
• 通过允许任意指数族分布，实现对不同类型数据（如计数、二值、连续型）的灵活建模。
• 为中间层神经元提供不确定性估计，作为下游任务的二阶表征。
• 开发一种与反向传播兼容、无需采样的概率深度网络训练方法。

提出的方法

• NPN 将输入、权重、神经元和输出建模为由自然参数参数化的指数族分布。
• 网络通过线性和非线性层对分布执行确定性变换，向前传播均值和方差（或充分统计量）。
• 应用反向传播学习权重和神经元分布的自然参数，实现高效的基于梯度的优化。
• 对于非高斯分布（如泊松分布、伽马分布），该方法使用基于均值和方差推导的代理自然参数，以实现可微训练。
• 该框架支持监督与无监督学习，不确定性估计自然地作为前向与反向传播的副产品出现。
• 针对不同分布类型（如高斯分布、泊松分布）推导了特定的反向传播规则，基于充分统计量的链式法则与雅可比变换计算。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络，使用任意指数族分布建模权重和神经元，而非假设高斯分布？
• RQ2 能否高效计算中间层神经元的不确定性估计，并将其作为下游任务的表征加以利用？
• RQ3 无采样、与反向传播兼容的贝叶斯神经网络是否在数据有限场景下优于现有方法？
• RQ4 中间层输出分布能否作为二阶表征，提升链接预测或自编码等任务的性能？
• RQ5 不同分布族（如计数数据使用泊松分布，权重使用伽马分布）在多样化学习任务中对模型性能有何影响？

主要发现

• NPN 在多个真实世界数据集上，在分类、回归和无监督表征学习任务中均达到最先进性能。
• 该模型自然地为中间层神经元提供不确定性估计，作为副产品显著提升了自编码与链接预测任务中的表征质量。
• 在泊松回归任务中，采用伽马分布权重与泊松输出的 NPN 显著优于标准基线方法，尤其在低数据场景下表现更优。
• 无采样训练方法相比基于蒙特卡洛的贝叶斯方法（如 Bayes by Backprop 或 SGLD）显著降低了计算成本。
• 通过自然参数的反向传播实现了分布参数的端到端学习，梯度基于充分统计量与雅可比变换推导得出。
• 使用代理自然参数（均值与方差）可实现对非高斯分布的可微训练，同时保持计算效率。