[论文解读] On Hypothesis Transfer Learning of Functional Linear Models

Haotian Lin, Matthew Reimherr|arXiv (Cornell University)|Jun 9, 2022

Face and Expression Recognition被引用 4

一句话总结

本文提出了一种新颖的迁移学习框架，用于函数线性回归，利用再生核希尔伯特空间（RKHS）范数来度量任务相关性，并实现对迁移信息的结构化解释。该研究提出了两种算法——面向特定任务的迁移学习与跨源的鲁棒聚合——并建立了最小最大最优预测风险率，证明了在函数数据设置下迁移学习可带来统计可证明的性能提升。

ABSTRACT

We study the transfer learning (TL) for the functional linear regression (FLR) under the Reproducing Kernel Hilbert Space (RKHS) framework, observing that the TL techniques in existing high-dimensional linear regression are not compatible with the truncation-based FLR methods, as functional data are intrinsically infinite-dimensional and generated by smooth underlying processes. We measure the similarity across tasks using RKHS distance, allowing the type of information being transferred to be tied to the properties of the imposed RKHS. Building on the hypothesis offset transfer learning paradigm, two algorithms are proposed: one conducts the transfer when positive sources are known, while the other leverages aggregation techniques to achieve robust transfer without prior information about the sources. We establish asymptotic lower bounds for this learning problem and show that the proposed algorithms enjoy a matching upper bound. These analyses provide statistical insights into factors that contribute to the dynamics of the transfer. We also extend the results to functional generalized linear models. The effectiveness of the proposed algorithms is demonstrated via extensive synthetic data as well as real-world data applications.

研究动机与目标

• 通过利用相关源任务进行迁移学习，解决函数线性回归中训练样本有限的挑战。
• 提出一种理论基础扎实的方法，利用RKHS范数量化任务相关性，从而实现对迁移信息的结构化解释。
• 提出两种算法：一种用于已知源任务时的针对性迁移学习；另一种用于源身份未知时的鲁棒聚合。
• 建立预测风险的最小最大最优收敛速率，为函数数据设置下迁移学习的统计优势提供理论依据。
• 在合成数据与真实金融数据上验证方法的有效性，证实理论结论与实际应用价值。

提出的方法

• 使用RKHS范数度量目标与源函数线性模型之间的相关性，该范数编码了系数函数间的结构相似性。
• 提出一种面向特定任务的迁移学习算法，基于RKHS相关性对源模型进行加权组合，与目标模型结合。
• 设计一种鲁棒的迁移学习算法，通过指数加权方式聚合多个源模型的结果，以最小化负迁移带来的风险。
• 采用粗糙度正则化与Tikhonov型估计器，确保系数函数估计的平滑性与稳定性。
• 运用Fano引理与Varshamov-Gilbert构造等理论工具，推导预测风险的最小最大下界。
• 借助协方差算子的特征分解与集中不等式，界定估计误差并推导收敛速率。

实验结果

研究问题

• RQ1 如何形式化地量化函数线性模型之间的相关性，以支持可解释的信息迁移？
• RQ2 在迁移学习设置下，函数线性回归的预测风险最优收敛速率是什么？
• RQ3 如何设计一种鲁棒的迁移学习算法，使其在源任务与目标不完全对齐时仍能表现良好？
• RQ4 哪些结构与统计因素决定了源任务是提升还是损害目标模型的性能？
• RQ5 能否推导出理论上的预测风险边界，以证明在函数数据设置下迁移学习的统计优势？

主要发现

• 所提出的迁移学习算法实现了最小最大最优预测风险率，证明在函数线性模型框架下，迁移学习的统计增益在数学上是可证明的。
• 基于RKHS范数的相关性度量方法，能够实现对模型间被迁移的特征或模式的结构化解释。
• 鲁棒聚合算法通过指数加权方式结合多个源模型，显著降低了负迁移风险，其性能优于简单的平均方法。
• 在合成数据与真实金融数据上的实验结果表明，无论在何种平滑度水平或指数加权方案的温度参数设置下，性能均保持一致提升。
• 理论分析表明，协方差算子的特征值衰减速率以及源与目标系数函数的对齐程度，是影响迁移效果的关键因素。
• 预测风险的收敛速率被证明为最优，其速率取决于系数函数的平滑度以及可利用的源样本数量。