[论文解读] Transfer Learning for Linear Regression: a Statistical Test of Gain

David Obst, Badih Ghattas+4 more|arXiv (Cornell University)|Feb 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 14被引用 7

一句话总结

本文提出了一种统计检验方法，用于判断微调的迁移学习是否相比从零开始训练在目标任务上提升了线性回归的性能。该方法基于协方差矩阵的特征分解和参数差异的界，推导出一个检验统计量，从而实现具有控制第一类错误的假设检验，并在合成数据和电力消费数据上进行了验证。

ABSTRACT

Transfer learning, also referred as knowledge transfer, aims at reusing knowledge from a source dataset to a similar target one. While many empirical studies illustrate the benefits of transfer learning, few theoretical results are established especially for regression problems. In this paper a theoretical framework for the problem of parameter transfer for the linear model is proposed. It is shown that the quality of transfer for a new input vector $x$ depends on its representation in an eigenbasis involving the parameters of the problem. Furthermore a statistical test is constructed to predict whether a fine-tuned model has a lower prediction quadratic risk than the base target model for an unobserved sample. Efficiency of the test is illustrated on synthetic data as well as real electricity consumption data.

研究动机与目标

• 为解决线性回归迁移学习中缺乏理论保证的问题，特别是关于负迁移的问题。
• 开发一种统计检验方法，以判断微调的迁移学习是否在目标数据上产生比从零开始训练更低的预测风险。
• 提供一种实用的、基于数据的方法，在部署前评估迁移增益，尤其适用于目标数据有限的情况。
• 通过利用已知的参数发散界推导出检验统计量的保守下界，从而控制检验中的第一类错误。
• 在合成数据和真实世界电力负荷预测数据（GEFCOM2012）上验证该方法。

提出的方法

• 提出一种基于微调模型与基础目标模型之间二次风险差异的统计检验。
• 推导出依赖于输入向量 $x$、目标协方差的特征基以及源-目标参数差异的检验统计量 $\phi_k(x)$。
• 利用对 $\|\beta_T - \beta_S\|/\sigma_T$ 的已知界 $\rho$，引入 $\phi_k(x)$ 的保守下界 $\psi_k(x)$。
• 使用 F 分布近似计算检验的 p 值，确保第一类错误控制在水平 $\alpha$。
• 通过目标和源协方差矩阵的特征分解，将输入表示在一种使迁移质量取决于与参数偏移对齐程度的基下。
• 通过在标注的训练数据集上进行精确率-召回率权衡，对超参数 $k$（特征基索引）和 $\rho$ 进行校准。

实验结果

研究问题

• RQ1 在何种条件下，微调的线性回归迁移学习相比从零开始训练能带来更低的预测风险？
• RQ2 能否构建一种统计检验，以在部署前预测新输入向量的迁移增益？
• RQ3 在具有保证第一类错误的频率学框架中，如何控制负迁移的风险？
• RQ4 协方差矩阵的特征基在决定迁移质量方面起什么作用？
• RQ5 如何对未知的参数差异 $\|\beta_T - \beta_S\|$ 进行有界，以使检验在实际中可用？

主要发现

• 所提出的检验通过确保当风险差异为零时最大误差发生，从而在水平 $\alpha$ 下控制第一类错误。
• 在原假设下，检验统计量 $\phi_k(x)$ 被证明以 F 分布为随机上界，从而可计算 p 值。
• 利用对归一化参数差异 $\|\beta_T - \beta_S\|/\sigma_T$ 的已知界 $\rho$，推导出 $\phi_k(x)$ 的实用下界 $\psi_k(x)$。
• 通过在已知存在迁移增益的标注训练集上进行精确率-召回率权衡，对 $k$ 和 $\rho$ 进行了经验校准。
• 该方法在合成数据和来自 GEFCOM2012 的真实电力消费数据上成功识别出有益的迁移，且相对于基线模型表现出一致的改进。
• 该检验对模型误设具有鲁棒性，并在真实参数差异未知的情况下仍保持有效性，前提是 $\rho$ 被保守估计。