[论文解读] On Negative Transfer and Structure of Latent Functions in Multi-output Gaussian Processes

Moyan Li, Raed Al Kontar|arXiv (Cornell University)|Apr 6, 2020

Gaussian Processes and Bayesian Inference参考文献 31被引用 5

一句话总结

本文提出了两种可扩展的潜在函数结构，用于多输出高斯过程（MGP），通过确保足够的潜在函数数量来防止负迁移，同时保持参数数量可控。通过引入正则化以实现相关输出的自动选择，模型在大规模数据集上仍能保持高性能，优于标准MGP，在高维参数空间中估计失败时表现更优。

ABSTRACT

The multi-output Gaussian process ($\mathcal{MGP}$) is based on the assumption that outputs share commonalities, however, if this assumption does not hold negative transfer will lead to decreased performance relative to learning outputs independently or in subsets. In this article, we first define negative transfer in the context of an $\mathcal{MGP}$ and then derive necessary conditions for an $\mathcal{MGP}$ model to avoid negative transfer. Specifically, under the convolution construction, we show that avoiding negative transfer is mainly dependent on having a sufficient number of latent functions $Q$ regardless of the flexibility of the kernel or inference procedure used. However, a slight increase in $Q$ leads to a large increase in the number of parameters to be estimated. To this end, we propose two latent structures that scale to arbitrarily large datasets, can avoid negative transfer and allow any kernel or sparse approximations to be used within. These structures also allow regularization which can provide consistent and automatic selection of related outputs.

研究动机与目标

• 定义并解决多输出高斯过程（MGPs）中的负迁移问题，即当输出之间无关时，跨输出共享假设会降低性能。
• 识别出无论核函数选择或推理方法如何，充足的潜在函数数量（Q）都是避免负迁移的必要条件。
• 通过提出两种放松的MGP结构，缓解增加Q带来的计算负担，使模型可扩展至大规模数据集，并实现低维参数估计。
• 通过潜在结构中的正则化实现相关输出的自动选择，提升泛化能力与模型一致性。

提出的方法

• 提出一种使用星形配置的放松MGP结构，其中每个输出仅与一个唯一的潜在函数关联，最大限度减少共享参数，同时保持输出间的相关性。
• 引入一种成对MGP结构，将输出配对分组，每对共享一个单一潜在函数，与完整MGP相比显著降低参数数量。
• 在超参数上施加正则化惩罚，以实现相关输出的一致、自动选择，减少过拟合并提升泛化能力。
• 采用基于诱导点的变分推理，使模型可扩展至大规模数据集，同时保持计算效率。
• 应用卷积构造（f_i(x) = Σ_q K_qi(x) ⋆ X_q(x)），但限制每个输出的活跃潜在函数数量，以控制复杂度。
• 在放松结构中采用稀疏近似和任意标准核函数，保持灵活性的同时避免高维参数估计问题。

实验结果

研究问题

• RQ1 在多输出高斯过程中，避免负迁移需满足哪些条件？
• RQ2 无论核函数或推理方法如何，充足的潜在函数数量（Q）是否都能防止负迁移？
• RQ3 如何构建MGP模型以避免Q增加时参数数量的爆炸性增长？
• RQ4 潜在结构中的正则化是否能实现相关输出的自动选择？
• RQ5 所提出的放松MGP结构是否在标准MGP因参数估计失败而失效的大规模数据集上仍能保持预测性能？

主要发现

• 星形结构与成对MGP模型在预测性能上与标准MGP（Q=20）相当，即使在完整MGP因高维参数估计失败时仍表现良好。
• 当N=50且Q=20时，标准MGP估计耗时约24小时，且预测性能显著下降，而成对模型仅耗时约30秒。
• 在N=50情况下，成对模型优于完整MGP和星形模型，因其更低的参数维度，使估计更准确。
• 在真实汇率数据上，成对模型对MXN/USD的MSE为0.040，对KRW/USD的MSE为0.015，显著优于Q=10的MGP（MSE分别为0.217和0.322）。
• 所提模型在数据集规模增大时仍保持低计算成本和高预测准确性，而标准MGP在N较小时即变得不可行。
• 放松结构中的正则化可实现一致、自动的相关输出选择，提升泛化能力并减少过拟合。