[论文解读] Practical Conditional Neural Processes Via Tractable Dependent Predictions

Stratis Markou, James Requeima+3 more|arXiv (Cornell University)|Mar 16, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出高斯神经过程（GNPs），一种可处理、可扩展的条件神经过程（CNP）扩展方法，通过可学习的协方差函数显式建模输出相关性。与以往依赖近似推断或高成本卷积的方法不同，GNPs 实现了精确的最大似然训练，并支持多输出回归和非高斯数据，通过可逆变换显著提升了预测性能，同时实现了下游估计任务中一致的函数采样。

ABSTRACT

Conditional Neural Processes (CNPs; Garnelo et al., 2018a) are meta-learning models which leverage the flexibility of deep learning to produce well-calibrated predictions and naturally handle off-the-grid and missing data. CNPs scale to large datasets and train with ease. Due to these features, CNPs appear well-suited to tasks from environmental sciences or healthcare. Unfortunately, CNPs do not produce correlated predictions, making them fundamentally inappropriate for many estimation and decision making tasks. Predicting heat waves or floods, for example, requires modelling dependencies in temperature or precipitation over time and space. Existing approaches which model output dependencies, such as Neural Processes (NPs; Garnelo et al., 2018b) or the FullConvGNP (Bruinsma et al., 2021), are either complicated to train or prohibitively expensive. What is needed is an approach which provides dependent predictions, but is simple to train and computationally tractable. In this work, we present a new class of Neural Process models that make correlated predictions and support exact maximum likelihood training that is simple and scalable. We extend the proposed models by using invertible output transformations, to capture non-Gaussian output distributions. Our models can be used in downstream estimation tasks which require dependent function samples. By accounting for output dependencies, our models show improved predictive performance on a range of experiments with synthetic and real data.

研究动机与目标

• 解决条件神经过程（CNPs）在生成无相关性、平均场预测方面存在的根本局限，该局限阻碍了连贯的函数采样。
• 开发一种建模输出依赖关系的方法，而无需依赖近似推断或计算成本高昂的操作（如高维卷积）。
• 在保持可扩展性和训练简便性的前提下，实现对相关预测分布的精确最大似然训练。
• 通过可逆边缘变换扩展框架，以处理多输出回归和非高斯数据。
• 在真实世界任务（如EEG和气候数据）中展示性能提升，特别是在影响研究中实现空间一致的温度采样。

提出的方法

• 提出高斯神经过程（GNPs），通过上下文相关的特征向量直接参数化高斯预测分布的协方差矩阵。
• 使用正定协方差函数（如RBF、Matérn）作用于深度特征，定义结构化、可学习的输出相关性。
• 通过确保似然函数解析可处理，实现精确的最大似然训练，避免变分推断或蒙特卡洛近似。
• 集成可逆耦合层（如基于流的变换）以建模非高斯输出分布，同时保持似然的可处理性。
• 设计卷积变体ConvGNP，利用局部感受野捕捉结构化数据中的时空依赖关系。
• 使用标准反向传播端到端训练模型，测试时推理复杂度与上下文集大小呈线性关系，实现可扩展性。

实验结果

研究问题

• RQ1 我们能否在不依赖近似推断或高成本操作的前提下，对条件神经过程中的输出相关性进行建模？
• RQ2 我们能否在保持对大规模数据集可扩展性的前提下，实现捕捉输出依赖关系的模型的精确最大似然训练？
• RQ3 GNPs能否生成连贯、空间一致的函数样本，以满足洪水或热浪概率预测等下游估计任务的需求？
• RQ4 在具有复杂依赖关系的真实世界数据上，GNPs相较于平均场CNPs和隐变量NP的表现如何？
• RQ5 在气候建模中，GNPs能否在提供空间一致预测的同时，优于标准的统计降尺度方法？

主要发现

• 在具有复杂协方差结构（包括平方指数核、Matérn核、噪声混合核和弱周期核）的合成数据上，GNPs 显著提升了预测性能。
• GNPs 在需要连贯函数采样的下游估计任务中表现优异——特别是估计持续高温事件的概率，而平均场CNPs由于独立性假设而失败。
• 在真实EEG数据上，GNPs 在预测准确性和不确定性校准方面均优于平均场CNPs和隐变量神经过程。
• 在气候建模中，GNPs 在预测性能上优于广泛使用的标准统计降尺度方法集合，同时生成空间一致的温度样本。
• ConvGNP 变体能有效从多样化合成数据分布中恢复复杂的预测协方差模式，展现出强大的表征能力。
• 可逆变换的集成使GNPs能够以可处理的似然性建模非高斯数据分布，从而将适用范围扩展至高斯假设之外。