[论文解读] Non-linear Multitask Learning with Deep Gaussian Processes
本文提出了一种使用深度高斯过程（DGPs）的非线性多任务学习框架，通过共享和私有潜在过程以及非线性映射来建模任务。通过将双随机变分推断扩展至多任务DGP设置，该方法能够捕捉复杂、非线性的任务关系，并在基准数据集和真实世界数据集上优于线性多任务高斯过程模型和神经网络，尤其在低数据场景下表现更优。
We present a multi-task learning formulation for Deep Gaussian processes (DGPs), through non-linear mixtures of latent processes. The latent space is composed of private processes that capture within-task information and shared processes that capture across-task dependencies. We propose two different methods for segmenting the latent space: through hard coding shared and task-specific processes or through soft sharing with Automatic Relevance Determination kernels. We show that our formulation is able to improve the learning performance and transfer information between the tasks, outperforming other probabilistic multi-task learning models across real-world and benchmarking settings.
研究动机与目标
- 解决现有多任务高斯过程模型中线性任务依赖假设的局限性。
- 在非线性、复杂关系中实现相关任务之间的有效信息迁移。
- 开发一种可扩展的、具有不确定性量化能力的概率多任务学习框架，利用深层潜在结构。
- 将变分推断技术扩展至支持具有实际计算效率的多任务DGP推断。
- 通过实证验证该模型在真实世界和基准数据集上，尤其在训练数据有限的情况下，优于基线模型。
提出的方法
- 该模型采用分层DGP架构，通过共享和任务特定的潜在过程来表示多任务数据。
- 通过最终的GP层以非线性方式组合共享和私有潜在函数，对非线性任务关系进行建模。
- 提出了两种分割策略：硬编码的共享与私有过程分离，以及使用自动相关性确定（ARD）核的软共享。
- 通过多任务扩展的双随机变分推断框架进行推断，实现在大规模数据集上的可扩展训练。
- 该方法在GPflow中实现，并在GitHub上公开发布，以确保可复现性。
- 通过贝叶斯非参数建模支持不确定性量化和鲁棒泛化。
实验结果
研究问题
- RQ1深度高斯过程模型能否有效捕捉多任务学习中相关任务之间的非线性关系？
- RQ2与线性多任务GP模型相比，所提出的非线性多任务DGP公式在预测性能和泛化能力方面表现如何？
- RQ3通过信息迁移，共享潜在过程在低数据场景下能在多大程度上提升性能？
- RQ4所提出的变分推断方法能否有效扩展至具有复杂非线性依赖关系的真实世界多任务问题？
- RQ5潜在空间分割策略（硬共享与软共享）对模型性能和可解释性有何影响？
主要发现
- 所提出的非线性多任务DGP模型在具有复杂非线性任务依赖关系的合成玩具数据集上，优于线性多任务GP模型（包括ICM-GP和核心化GP）。
- 在FAIMS糖尿病诊断数据集上，该模型在三个任务上的平均ROC-AUC达到0.78，显著优于iRF基线（0.71）和其他基于GP的模型。
- sMDGP和mMDGP变体在各任务中均实现了最高的个体AUC（0.80），且在所有任务中持续优于iGP、cGP和iDGP。
- 该模型在UCI基准数据集上表现出稳健性能，相比线性模型展现出更好的泛化能力并减少了负迁移。
- 多任务DGP框架在CPU上实现了快速推理时间，使其适用于真实世界应用。
- 通过共享潜在过程进行表征学习和信息共享，被证明在稀疏、高维数据（如FAIMS）上对性能至关重要。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。