[论文解读] Stochastic Maximum Likelihood Optimization via Hypernetworks

Abdul-Saboor Sheikh, Kashif Rasul+2 more|arXiv (Cornell University)|Dec 4, 2017

Neural Networks and Applications参考文献 19被引用 7

一句话总结

本文提出了一种基于超网络生成模型权重的隐式分布的神经网络随机最大似然优化方法。通过使用随机梯度下降训练超网络以最大化条件似然，该方法在回归和分类基准测试中取得了具有竞争力的性能，优于标准SGD，并与最先进贝叶斯方法相当，同时在无需显式后验近似的情况下建模了复杂的参数依赖关系。

ABSTRACT

This work explores maximum likelihood optimization of neural networks through hypernetworks. A hypernetwork initializes the weights of another network, which in turn can be employed for typical functional tasks such as regression and classification. We optimize hypernetworks to directly maximize the conditional likelihood of target variables given input. Using this approach we obtain competitive empirical results on regression and classification benchmarks.

研究动机与目标

• 开发一种可扩展的非贝叶斯方法，通过超网络对参数分布进行建模，以优化神经网络权重。
• 通过学习结构化、高容量的权重分布而非点估计，提升泛化能力和不确定性估计。
• 直接优化给定输入的目标条件似然，实现基于梯度的端到端训练。
• 在多样化的回归和分类基准上，展示该方法与标准SGD和最先进贝叶斯深度学习方法相比具有竞争力的性能。

提出的方法

• 该方法使用超网络通过从标准分布中抽取的噪声变量 ε 来生成主神经网络的权重。
• 将超网络输出建模为隐式分布 w = g(ε; Θ)，通过重参数化技巧实现高效的采样，以支持基于梯度的优化。
• 目标函数是给定输入的目标的边际条件对数似然，通过在多个权重样本上进行蒙特卡洛采样近似。
• 应用随机梯度下降优化超网络参数 Θ 以最大化似然估计，同时在训练过程中使用主网络进行预测。
• 该方法通过超网络的架构允许权重之间的任意依赖关系，避免了因子化或无结构先验的限制。
• 在标准基准数据集上评估了该方法在回归和分类任务上的性能，并与SGD、贝叶斯基线以及变分推理方法进行了比较。

实验结果

研究问题

• RQ1 与标准最大似然训练相比，基于超网络的隐式分布是否能提升神经网络权重的泛化能力和预测性能？
• RQ2 在测试误差和不确定性校准方面，该方法与已建立的贝叶斯深度学习方法相比表现如何？
• RQ3 在无需显式后验近似的情况下，超网络中的隐式分布在多大程度上能够建模网络参数之间复杂的高维依赖关系？
• RQ4 通过在超网络上对条件似然进行随机梯度下降的直接优化，是否相比点估计优化能带来更好的收敛性和鲁棒性？

主要发现

• 在Energy数据集上，该方法在回归基准测试中实现了0.87 ± 0.10的测试RMSE，优于标准SGD（0.95 ± 0.13），并与其它贝叶斯基线方法相当或更优。
• 在Yacht数据集上，该方法实现了0.57 ± 0.21的RMSE，显著优于SGD（0.77 ± 0.25）及其他方法（包括PBP和Dropout）。
• 在Protein数据集上，该方法实现了4.65 ± 0.19的RMSE，优于标准SGD（4.37 ± 0.03），并与表现最佳的贝叶斯方法相当。
• 在MNIST数据集上，对于2×400架构，该方法实现了1.26%的错误率，优于标准SGD（1.43%），并匹配或超过其他贝叶斯和正则化方法。
• 对于更深的架构（3×750），该方法实现了1.49%的错误率，优于标准SGD（1.71%），并在所有测试架构中表现出色。
• 权重分布演化的可视化显示，训练过程中各层权重的轨迹呈现一致的扩散行为，且轨迹随数据集不同而变化，表明模型自适应地学习了参数不确定性。