[论文解读] Robust angle-based transfer learning in high dimensions

Tian Gu, Yi Han+1 more|arXiv (Cornell University)|Oct 23, 2022

Cancer-related molecular mechanisms research被引用 5

一句话总结

本文提出角度迁移学习（angleTL），一种稳健的闭式方法，用于高维回归，仅利用预训练源模型参数而无需个体层面的数据。通过利用源模型与目标模型系数之间的角度相似性，angleTL 自适应地提升预测精度，防止负迁移，并在模拟实验和生物样本库中的真实遗传风险预测任务中均优于基准方法。

ABSTRACT

Transfer learning aims to improve the performance of a target model by leveraging data from related source populations, which is known to be especially helpful in cases with insufficient target data. In this paper, we study the problem of how to train a high-dimensional ridge regression model using limited target data and existing regression models trained in heterogeneous source populations. We consider a practical setting where only the parameter estimates of the fitted source models are accessible, instead of the individual-level source data. Under the setting with only one source model, we propose a novel flexible angle-based transfer learning (angleTL) method, which leverages the concordance between the source and the target model parameters. We show that angleTL unifies several benchmark methods by construction, including the target-only model trained using target data alone, the source model fitted on source data, and distance-based transfer learning method that incorporates the source parameter estimates and the target data under a distance-based similarity constraint. We also provide algorithms to effectively incorporate multiple source models accounting for the fact that some source models may be more helpful than others. Our high-dimensional asymptotic analysis provides interpretations and insights regarding when a source model can be helpful to the target model, and demonstrates the superiority of angleTL over other benchmark methods. We perform extensive simulation studies to validate our theoretical conclusions and show the feasibility of applying angleTL to transfer existing genetic risk prediction models across multiple biobanks.

研究动机与目标

• 解决在仅能访问预训练源模型参数而目标数据有限的情况下，训练高维回归模型的挑战。
• 开发一种方法，在源与目标人群异质性较高且无法获取个体层面源数据时，防止负迁移。
• 通过基于角度的相似性度量，统一并改进现有基准迁移学习方法，利用源与目标模型参数之间的一致性。
• 通过引入考虑源模型效用的加权聚合策略，将框架扩展至多个源模型。
• 为 angleTL 提供理论依据，并在多样化模拟设置和真实世界生物样本库数据应用中进行实证验证。

提出的方法

• 该方法引入一种基于目标系数向量与源模型估计值之间余弦相似性（角度）的新惩罚项，当源与目标参数一致时促进对齐。
• 目标函数结合标准最小二乘损失与正则化项：$\lambda\|\boldsymbol{\beta}\|_{2}^{2} - 2\eta\hat{\mathbf{w}}^{\top}\boldsymbol{\beta}$，其中 $\hat{\mathbf{w}}$ 为源模型估计值，$\eta$ 控制源模型的影响。
• 推导出闭式解，实现高效计算，无需迭代优化或访问个体层面数据。
• 对于多个源模型，通过加权平均聚合源模型，权重基于其与目标的相对角度一致性确定。
• 在高维渐近条件下进行理论分析，给出源模型有益的条件，识别出信号强度、噪声水平和维度等关键因素。
• 通过将相似性度量适配至拟合结果或基于秩次的比较，将该方法扩展至分类任务，同时保持基于角度的正则化框架。

实验结果

研究问题

• RQ1 在目标数据有限的高维设定下，预训练的源模型在何种条件下能有效提升目标模型性能？
• RQ2 当源与目标模型对齐程度较差时，如何使迁移学习对人群异质性保持稳健，尤其是当源数据与目标不匹配时？
• RQ3 信号强度、噪声水平和模型维度对基于角度的迁移学习性能有何影响？
• RQ4 当多个源模型对目标的效用不同时，如何最优地组合它们？
• RQ5 在整合来自差异较大的源人群信息时，angleTL 是否能防止负迁移？

主要发现

• 在广泛模拟设置中，angleTL 始终优于基准方法，包括仅使用目标数据和仅使用源数据的模型，尤其在源与目标参数中度对齐时表现更优。
• 该方法通过降低低角度一致性源模型的权重，防止负迁移，确保当源数据无关或异质时性能不会下降。
• 理论分析表明，angleTL 的性能对信号强度和维度具有自适应性，当目标信号较强且维度与样本量之比适中时，估计性能更优。
• 在真实世界应用中，angleTL 在多个生物样本库之间成功迁移了遗传风险预测模型，展示了其在实践中的可行性与稳健性。
• 闭式解支持高效实现，无需迭代通信或个体层面数据，适用于隐私保护场景。
• 通过基于结果的相似性度量将方法扩展至分类任务显示出前景，模拟结果证实该方法在非线性回归之外也具备灵活性。