[论文解读] The Functional Neural Process

Christos Louizos, Xiahan Shi+2 more|arXiv (Cornell University)|Jun 19, 2019

Gaussian Processes and Bayesian Inference参考文献 54被引用 14

一句话总结

该论文提出了功能神经过程（FNPs），这是一种新型的可交换随机过程家族，通过学习局部潜在变量之间的依赖图来建模函数分布，从而无需依赖全局潜在参数。FNPs 通过小批量优化实现可扩展训练，在回归和分类任务中表现出与基线模型相当的性能，且不确定性估计更加稳健，优于如神经过程（Neural Processes）等基线模型。

ABSTRACT

We present a new family of exchangeable stochastic processes, the Functional Neural Processes (FNPs). FNPs model distributions over functions by learning a graph of dependencies on top of latent representations of the points in the given dataset. In doing so, they define a Bayesian model without explicitly positing a prior distribution over latent global parameters; they instead adopt priors over the relational structure of the given dataset, a task that is much simpler. We show how we can learn such models from data, demonstrate that they are scalable to large datasets through mini-batch optimization and describe how we can make predictions for new points via their posterior predictive distribution. We experimentally evaluate FNPs on the tasks of toy regression and image classification and show that, when compared to baselines that employ global latent parameters, they offer both competitive predictions as well as more robust uncertainty estimates.

研究动机与目标

• 开发一种灵活且可扩展的随机过程，用于建模函数分布，而无需依赖全局潜在变量或对权重的显式先验。
• 改进深度学习模型中的不确定性估计，特别是在自动驾驶等安全关键应用中。
• 在保持可交换性和一致性的同时，实现函数逼近模型的高效小批量训练。
• 通过局部潜在变量之间的结构化依赖图，更方便地引入归纳偏置。
• 在回归和图像分类任务上展示竞争性性能以及改进的不确定性量化能力。

提出的方法

• FNPs 通过学习局部潜在变量之间的有向依赖图来建模函数，利用参考集 R 条件化预测。
• 模型采用图注意力机制计算点之间的依赖关系，基于图中父节点参数化潜在变量。
• 通过条件化参考集和观测到的训练点，计算后验预测分布，实现不确定性感知的预测。
• 该方法避免显式使用全局潜在变量，转而依赖具有关系结构的局部潜在表示，类似于自编码器模型。
• 通过小批量优化进行训练，使模型可扩展至大规模数据集。
• FNP+ 变体在每个小批量中随机采样参考集，近似实现多个随机过程的集成。

实验结果

研究问题

• RQ1 是否可以在不显式使用全局潜在参数的情况下构建一个保持可交换性和一致性的随机过程？
• RQ2 与全局潜在变量模型相比，局部潜在变量之间的关系结构是否能提升不确定性估计？
• RQ3 参考集 R 的选择如何影响函数逼近中的不确定性校准和泛化性能？
• RQ4 FNPs 是否能通过小批量训练扩展到大规模数据集，同时保持预测性能？
• RQ5 在 FNPs 中，通过依赖图结构编码归纳偏置的程度有多大？

主要发现

• FNPs 在回归和图像分类任务中达到与基线模型相当或更优的预测准确性。
• 与神经过程（NPs）相比，FNPs 提供了更稳健的不确定性估计，尤其在分布外（o.o.d.）检测任务中，AUCR 分数始终高于所有基线模型。
• 使用每批次随机采样参考集的 FNP+ 变体提升了 o.o.d. 检测性能，表明 R 中的随机性具有有益的正则化效果。
• 固定参考集的 FNP 变体在不确定性校准方面优于使用固定 R 的 NP 模型，表明 FNP 的图结构增强了鲁棒性。
• 更大的参考集 R 提升了 FNP 的性能，但质量比数量更重要，提示可通过基于核心集（coreset-based）的方法选择 R 以提升效率。
• 当 z（局部潜在变量）的维度相对于 u（参考集嵌入）更高时，不确定性估计更优；而当 z 足够大时，更高的 u 维度可提升准确性。