[论文解读] The Deep Weight Prior

Andrei Atanov, Arsenii Ashukha+3 more|arXiv (Cornell University)|Oct 16, 2018

Machine Learning and Data Classification被引用 16

一句话总结

本文提出深度权重先验（DWP），一种从特定领域中先前训练好的模型学习卷积核权重隐式先验分布的方法，从而在贝叶斯神经网络中引入结构化归纳偏置。通过使用该隐式先验进行变分推断，DWP在数据稀缺条件下提升了泛化性能，并在作为权重初始化使用时加速了训练过程，优于Xavier初始化等标准基线方法。

ABSTRACT

Bayesian inference is known to provide a general framework for incorporating prior knowledge or specific properties into machine learning models via carefully choosing a prior distribution. In this work, we propose a new type of prior distributions for convolutional neural networks, deep weight prior (DWP), that exploit generative models to encourage a specific structure of trained convolutional filters e.g., spatial correlations of weights. We define DWP in the form of an implicit distribution and propose a method for variational inference with such type of implicit priors. In experiments, we show that DWP improves the performance of Bayesian neural networks when training data are limited, and initialization of weights with samples from DWP accelerates training of conventional convolutional neural networks.

研究动机与目标

• 为解决标准先验在贝叶斯神经网络中的局限性，即无法捕捉卷积核权重中的空间相关性。
• 开发一种灵活的隐式先验分布，能够以领域特定的方式从先前训练好的模型中编码结构化归纳偏置。
• 实现与此类隐式先验的有效变分推断，从而在低数据场景下提升性能。
• 探索将DWP用作权重初始化策略，以加速标准CNN的收敛并提升特征学习能力。

提出的方法

• 深度权重先验被定义为从特定数据领域（如图像数据集）中一组预训练卷积核中学习到的隐式分布。
• 该方法使用生成模型估计源核分布，从而隐式捕捉训练后滤波器的统计结构（如空间相关性）。
• 提出一种新颖的变分推断框架，通过辅助变量和重参数化技术实现与隐式先验的近似后验推断。
• 该方法支持带有反映领域特定归纳偏置的结构化先验的贝叶斯卷积神经网络的端到端训练。
• 该方法被推广至以马尔可夫链形式表示的隐式先验分布，从而提升适用范围。
• 该框架支持基于从学习到的DWP分布中采样进行的贝叶斯推断与权重初始化。

实验结果

研究问题

• RQ1 能否从少量预训练卷积核中有效学习到隐式先验分布，以捕捉领域特定的结构偏置？
• RQ2 与此类隐式先验结合的变分推断在数据稀缺条件下如何提升贝叶斯卷积网络的泛化性能？
• RQ3 使用DWP采样结果对标准CNN进行权重初始化，能否在无需微调的情况下加速训练并提升特征提取能力？
• RQ4 在收敛速度与准确率方面，DWP相较于标准先验与初始化方法表现如何？

主要发现

• 在训练数据有限的情况下，DWP显著提升了CIFAR-10与MNIST上的分类准确率，优于高斯或拉普拉斯等标准先验分布。
• 使用DWP采样结果对常规CNN进行初始化，相比Xavier初始化，可实现更快的收敛速度与更优的特征提取能力。
• 基于DWP的初始化方法在性能上可与预训练滤波器初始化相媲美，但无需存储大量预训练滤波器。
• 该方法实现了与隐式先验的有效变分推断，证明此类先验可被有效用于贝叶斯深度学习中的结构化归纳偏置。
• 实验表明，DWP能够从源核分布中捕捉到有意义的归纳偏置，从而提升模型的鲁棒性与泛化能力。