[论文解读] Probabilistic Meta-Representations Of Neural Networks

Theofanis Karaletsos, Peter Dayan+1 more|arXiv (Cornell University)|Oct 1, 2018

Neural Networks and Applications被引用 14

一句话总结

本文提出了一种神经网络的概率元表示方法，其中神经元单元被嵌入到共享的潜在空间中，权重则通过超网络从这些嵌入中条件生成。该方法能够实现结构化的权重相关性，作为贝叶斯复杂度正则化器，并在分布偏移下提升泛化性能，实现无需任务特定架构修改的自适应性能。

ABSTRACT

Existing Bayesian treatments of neural networks are typically characterized by weak prior and approximate posterior distributions according to which all the weights are drawn independently. Here, we consider a richer prior distribution in which units in the network are represented by latent variables, and the weights between units are drawn conditionally on the values of the collection of those variables. This allows rich correlations between related weights, and can be seen as realizing a function prior with a Bayesian complexity regularizer ensuring simple solutions. We illustrate the resulting meta-representations and representations, elucidating the power of this prior.

研究动机与目标

• 为解决贝叶斯神经网络中独立权重先验的局限性，后者无法捕捉权重之间的有意义相关性。
• 开发一种分层概率模型，通过网络单元的潜在嵌入诱导权重分布中的丰富结构模式。
• 实现在三个层次上的不确定性建模：元表示层面、功能层面和观测层面。
• 构建一种灵活、自包含的贝叶斯神经网络先验，支持在线、结构化的权重操作以及在分布偏移下的泛化能力。
• 将元学习、高斯过程与程序归纳的概念统一到一个连贯且可扩展的框架中，用于权重先验设计。

提出的方法

• 神经网络中的单元被分配来自共享、结构化潜在空间的潜在变量（元表示）。
• 权重和偏置通过超网络从这些潜在变量中条件生成，从而实现结构化、相关的权重分布。
• 该模型采用分层先验，通过潜在嵌入对权重的联合分布进行因子分解，从而实现在函数空间中的复杂正则化。
• 采用变分推理框架来近似后验分布，通过优化证据下界（ELBO）来训练模型。
• 超网络作为生成模型，将单元嵌入映射为完整的权重矩阵，从而实现网络参数的紧凑、分布式表示。
• 该方法通过在元表示空间中允许非几何、学习到的结构，推广了拓扑权重共享（如CNN中的方法）。

实验结果

研究问题

• RQ1 与独立权重先验相比，对神经网络权重施加结构化、分层先验是否能提升泛化性能与不确定性校准？
• RQ2 如何利用网络单元的潜在嵌入来生成相关且具有功能意义的权重分布？
• RQ3 该元表示在多大程度上能够适应分布偏移并实现分布外泛化？
• RQ4 该框架能否支持多层级的不确定性量化：元表示、函数和观测层面？
• RQ5 在性能与归纳偏置方面，该方法与集成方法或标准贝叶斯神经网络相比如何？

主要发现

• 所提出的元表示在隐藏单元的输入和输出权重中诱导出复杂、结构化的相关性，这是标准独立先验无法捕捉的。
• 该模型在分布偏移下表现出更优的泛化性能，例如在置换MNIST基准测试中，通过将单元嵌入重新对齐至新数据分布实现。
• 分层结构在函数空间中实现了有效的复杂度控制，作为贝叶斯正则化器，倾向于选择更简单、更结构化的解。
• 基于超网络的权重生成方式实现了网络参数的紧凑、分布式表示，降低了权重空间的有效维度。
• 该模型支持多层级不确定性量化，能够区分元表示、函数和观测层面的不确定性。
• 该方法支持程序式解释，其中超网络充当解释器，将单元嵌入翻译为网络的功能行为。