[论文解读] Stability of Multi-Task Kernel Regression Algorithms

Julien Audiffren, Hachem Kadri|arXiv (Cornell University)|Jun 17, 2013

Domain Adaptation and Few-Shot Learning参考文献 28被引用 8

一句话总结

本文通过使用算子值核，在无限维输出空间中建立了多任务核回归算法的统一稳定性，推导出泛化界，并证明了即使对于非希尔伯特-施密特核，其一致性也成立。该方法将算法稳定性理论扩展至向量值学习，为非线性多任务方法（如函数岭回归和向量值支持向量回归）提供了严格的性能保证。

ABSTRACT

We study the stability properties of nonlinear multi-task regression in reproducing Hilbert spaces with operator-valued kernels. Such kernels, a.k.a. multi-task kernels, are appropriate for learning prob- lems with nonscalar outputs like multi-task learning and structured out- put prediction. We show that multi-task kernel regression algorithms are uniformly stable in the general case of infinite-dimensional output spaces. We then derive under mild assumption on the kernel generaliza- tion bounds of such algorithms, and we show their consistency even with non Hilbert-Schmidt operator-valued kernels . We demonstrate how to apply the results to various multi-task kernel regression methods such as vector-valued SVR and functional ridge regression.

研究动机与目标

• 解决无限维输出空间中非线性多任务学习缺乏泛化界的问题。
• 克服先前研究中要求使用希尔伯特-施密特算子值核的局限性，该条件排除了诸如基于恒等算子的核等重要情形。
• 将算法稳定性理论——此前仅限于标量值函数——扩展至使用算子值核的向量值学习。
• 在较弱的核假设下，提供泛化界和一致性结果，适用于现实世界中的多任务学习和结构化预测问题。
• 通过理论验证，证明该方法适用于关键算法，如向量值支持向量回归和函数岭回归。

提出的方法

• 在具有算子值核的向量值函数再生核希尔伯特空间（RKHS）中定义学习问题。
• 引入假设1，即对核的算子范数施加一个温和条件，以确保有界性和稳定性。
• 将统一稳定性的概念应用于多任务核回归算法，分析其对训练数据扰动的敏感性。
• 基于算法的稳定性推导泛化界，采用布绍和埃利谢夫（2002）提出的方法，并将其适配至向量值设置。
• 在假设1成立的前提下，证明学习算法的一致性，即使核不是希尔伯特-施密特核也成立。
• 通过理论验证稳定性条件，说明该方法适用于具体算法，如函数岭回归和向量值支持向量回归。

实验结果

研究问题

• RQ1 能否证明在无限维输出空间中，多任务核回归算法具有统一稳定性？
• RQ2 在弱于希尔伯特-施密特核条件的假设下，这些算法的泛化界是否仍然成立？
• RQ3 能否在不假设核为希尔伯特-施密特核的前提下，证明多任务核回归的一致性？
• RQ4 该稳定性框架能否应用于向量值支持向量回归和函数岭回归等具体方法？
• RQ5 是否存在非希尔伯特-施密特算子值核，仍能保证稳定且一致的学习？

主要发现

• 在对核施加温和假设的前提下，即使输出空间为无限维，多任务核回归算法也表现出统一稳定性。
• 这些算法的泛化界在不依赖核为希尔伯特-施密特核的条件下被推导出来，扩展了先前结果。
• 在假设1下，学习算法的一致性得到证明，而该假设严格弱于希尔伯特-施密特条件。
• 例如基于恒等算子的核 $K(x,z) = k(x,z)I$ 和基于乘法的核，虽非希尔伯特-施密特核，但仍满足所需的稳定性和一致性条件。
• 该方法适用于标准的多任务回归技术，包括函数岭回归和向量值支持向量回归，证实了其理论鲁棒性。
• 对于某些非希尔伯特-施密特核（例如当 $f(t) = \frac{C}{2}(\exp(-t^2)+1)$ 时），核算子 $K(x,x)$ 的迹发散，但稳定性与一致性依然成立。