[论文解读] Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality

Sai Li, Tommaso Cai+1 more|arXiv (Cornell University)|Jun 18, 2020

Statistical Methods and Inference参考文献 32被引用 21

一句话总结

本文提出了一种用于高维线性回归的迁移学习框架，通过利用信息丰富的辅助样本，提升了预测与估计性能。该研究提出 Trans-Lasso 方法，一种数据驱动的方法，通过目标系数与辅助系数之间差异的稀疏性，自适应地聚合估计器，在已知信息丰富源的情况下实现极小极大最优率，并在真实基因表达数据中表现出鲁棒性与性能提升。

ABSTRACT

This paper considers the estimation and prediction of a high-dimensional linear regression in the setting of transfer learning, using samples from the target model as well as auxiliary samples from different but possibly related regression models. When the set of "informative" auxiliary samples is known, an estimator and a predictor are proposed and their optimality is established. The optimal rates of convergence for prediction and estimation are faster than the corresponding rates without using the auxiliary samples. This implies that knowledge from the informative auxiliary samples can be transferred to improve the learning performance of the target problem. In the case that the set of informative auxiliary samples is unknown, we propose a data-driven procedure for transfer learning, called Trans-Lasso, and reveal its robustness to non-informative auxiliary samples and its efficiency in knowledge transfer. The proposed procedures are demonstrated in numerical studies and are applied to a dataset concerning the associations among gene expressions. It is shown that Trans-Lasso leads to improved performance in gene expression prediction in a target tissue by incorporating the data from multiple different tissues as auxiliary samples.

研究动机与目标

• 开发一种基于相关但不同模型的辅助样本的高维线性回归的统计最优迁移学习方法。
• 通过目标模型与辅助模型系数向量差异的稀疏性，刻画目标模型与辅助模型之间的相似性。
• 在已知信息丰富辅助样本集合的条件下，建立预测与估计的极小极大最优收敛速率。
• 设计一种数据驱动的程序 Trans-Lasso，可自适应地适应未知的信息丰富集合，并对非信息丰富的辅助样本保持鲁棒性。
• 通过模拟实验与真实世界应用（GTEx 项目中的基因表达数据）对方法进行实证验证。

提出的方法

• 将目标模型定义为具有稀疏系数的高维线性回归，并利用来自相关模型的辅助样本，其系数可能不同。
• 将信息丰富的辅助研究定义为：其与目标模型系数的差异在 ℓq 范数下稀疏，其中 q ∈ [0,1]，通过 δ(k) = β − w(k) 的稀疏性形式化相似性。
• 提出 Oracle Trans-Lasso 估计器，利用已知的信息丰富集合，在预测与估计中实现极小极大最优速率。
• 开发 Trans-Lasso 作为数据驱动的聚合程序，基于基于稀疏性的选择准则，将所有辅助研究的候选估计器进行组合。
• 采用带自适应 Lasso 类惩罚的惩罚估计框架，根据辅助样本与目标样本之间估计相似性的结果，选择并加权信息丰富的辅助样本。
• 通过交叉验证与理论分析，证明在存在非信息丰富辅助样本时，方法仍具有鲁棒性与高效性。

实验结果

研究问题

• RQ1 当可获得来自相关模型的辅助样本时，迁移学习是否能提升高维线性回归中的预测与估计精度？
• RQ2 高维回归迁移学习中，预测与估计的最优收敛速率是什么？是否可以实现？
• RQ3 当信息丰富辅助样本集合未知时，如何自适应地识别并利用这些样本？
• RQ4 所提出的方法在包含非信息丰富辅助样本时，其鲁棒性如何？
• RQ5 迁移学习的理论优势是否能在真实生物数据（如基因表达网络）中得到实证验证？

主要发现

• 当已知信息丰富辅助样本集合时，Oracle Trans-Lasso 在预测与估计中实现极小极大最优速率，收敛速度优于标准 Lasso。
• 在 GTEx 数据中，Trans-Lasso 在多个组织中相比 Lasso 平均降低 17% 的预测误差，显示出显著的性能提升。
• 在杏仁核与伏隔核等组织中，Trans-Lasso 展现出显著改进，表明其能有效从相关组织中迁移知识。
• 在垂体等组织中，由于目标模型与其他模型相似度较低，改进程度较弱，证实迁移学习的适用性受限于相似性上下文。
• 在前额叶皮层等组织中，Trans-Lasso 优于朴素的 Trans-Lasso（即聚合所有辅助样本），后者性能甚至低于 Lasso，证明了其对非信息丰富源的鲁棒性。
• 对于第 21 号染色体上的 25 个基因，Trans-Lasso 实现了整体最佳预测性能，在小脑半球与皮层等组织中取得显著提升。