[论文解读] Transfer Learning under High-dimensional Generalized Linear Models

Ye Tian, Yan Feng|arXiv (Cornell University)|May 29, 2021

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出了一种用于高维广义线性模型（GLMs）的多源迁移学习框架，通过利用目标系数与源系数之间的 $β$-稀疏对比，提升估计和预测精度。理论上，该方法建立了 $Ø_1$/$Ø_2$ 估计误差界和预测误差率，当源数据足够相似时，其性能优于经典惩罚估计器，并具备可证明的信息源检测能力与置信区间构造能力。

ABSTRACT

In this work, we study the transfer learning problem under high-dimensional generalized linear models (GLMs), which aim to improve the fit on target data by borrowing information from useful source data. Given which sources to transfer, we propose a transfer learning algorithm on GLM, and derive its $\ell_1/\ell_2$-estimation error bounds as well as a bound for a prediction error measure. The theoretical analysis shows that when the target and source are sufficiently close to each other, these bounds could be improved over those of the classical penalized estimator using only target data under mild conditions. When we don't know which sources to transfer, an algorithm-free transferable source detection approach is introduced to detect informative sources. The detection consistency is proved under the high-dimensional GLM transfer learning setting. We also propose an algorithm to construct confidence intervals of each coefficient component, and the corresponding theories are provided. Extensive simulations and a real-data experiment verify the effectiveness of our algorithms. We implement the proposed GLM transfer learning algorithms in a new R package glmtrans, which is available on CRAN.

研究动机与目标

• 解决高维GLMs迁移学习中缺乏理论保证的问题，尤其是多源情况下的问题。
• 通过借用相关但不同的源数据集信息，提升目标任务的估计与预测性能。
• 通过开发一种仅识别信息源的源检测方法，减轻负迁移的影响。
• 在迁移学习框架下，为系数估计提供有效的置信区间。
• 将现有单源与线性模型的研究成果扩展至多源、高维GLMs，并在系数对比满足 $Ø_1$-稀疏性假设的条件下进行研究。

提出的方法

• 提出一种基于联合目标与源数据估计的惩罚似然方法的多源迁移学习算法，用于高维GLMs。
• 假设目标与源系数之间的差异具有 $Ø_1$-稀疏性，从而在源与目标相似时实现更优的估计。
• 推导出在弱条件下达到极小极大最优性的 $Ø_1$/$Ø_2$ 估计误差界与预测误差率。
• 提出一种无需依赖主学习算法的算法无关源检测程序，基于检验统计量识别可迁移的源。
• 采用去偏技术为单个系数分量构造置信区间，并提供理论依据。
• 在R包 glmtrans 中实现该方法，该包已发布于CRAN，便于高维推断的实际应用。

实验结果

研究问题

• RQ1 当存在多个相关源数据集时，迁移学习能否提升高维GLMs中的估计精度？
• RQ2 在何种条件下，从源数据中迁移信息能带来优于仅使用目标数据的估计与预测性能？
• RQ3 如何检测出真正可迁移的源，以避免来自无关源的负迁移？
• RQ4 在高维GLMs的迁移学习框架下，能否为系数估计构建有效的置信区间？
• RQ5 在假设的稀疏结构下，所提方法的误差率是否达到极小极大最优？

主要发现

• 当目标模型与源模型足够相似时，所提迁移学习方法在 $Ø_1$/$Ø_2$ 估计误差界方面优于经典惩罚估计器。
• 在弱正则性条件下，迁移学习估计器的预测误差率达到极小极大最优，即使在高维设置下亦成立。
• 算法无关的源检测程序具有检测一致性，在高维GLM设定下能正确识别信息源。
• 该方法可为单个系数分量构建具有适当理论覆盖概率的有效置信区间。
• 模拟研究证实，当仅使用相关源时，该方法能降低估计误差并避免负迁移。
• R包 glmtrans 实现了所提算法，已在CRAN公开发布，支持可重现研究与实际部署。