[论文解读] Transfer Learning with Large-Scale Quantile Regression

Jun Jin, Jun Yan+2 more|arXiv (Cornell University)|Dec 13, 2022

Advanced Statistical Methods and Models被引用 4

一句话总结

本文提出了一种用于高维分位数回归的新型迁移学习框架，通过识别并利用信息丰富的外部数据源，提升目标人群的估计精度。通过使用样本分割检测与目标模型相似的来源，该方法在小样本量和高信噪比条件下，显著降低了误差率，优于朴素估计器。

ABSTRACT

Quantile regression is increasingly encountered in modern big data applications due to its robustness and flexibility. We consider the scenario of learning the conditional quantiles of a specific target population when the available data may go beyond the target and be supplemented from other sources that possibly share similarities with the target. A crucial question is how to properly distinguish and utilize useful information from other sources to improve the quantile estimation and inference at the target. We develop transfer learning methods for high-dimensional quantile regression by detecting informative sources whose models are similar to the target and utilizing them to improve the target model. We show that under reasonable conditions, the detection of the informative sources based on sample splitting is consistent. Compared to the naive estimator with only the target data, the transfer learning estimator achieves a much lower error rate as a function of the sample sizes, the signal-to-noise ratios, and the similarity measures among the target and the source models. Extensive simulation studies demonstrate the superiority of our proposed approach. We apply our methods to tackle the problem of detecting hard-landing risk for flight safety and show the benefits and insights gained from transfer learning of three different types of airplanes: Boeing 737, Airbus A320, and Airbus A380.

研究动机与目标

• 解决在目标数据有限的高维小样本场景下估计条件分位数的挑战。
• 通过在迁移学习中区分相关与无关的外部数据源，克服负迁移问题。
• 开发一种一致的方法，以检测模型与目标模型相似的信息丰富来源。
• 通过整合异质外部数据（同时考虑特征分布、模型结构和误差分布差异），提升目标人群的估计精度与推断能力。
• 通过模拟实验和在商业航空领域硬着陆风险检测中的实际应用，证明该方法的优越性。

提出的方法

• 使用样本分割构建检验统计量，以检测模型与目标模型相似的来源。
• 采用两阶段程序：首先通过模型相似性的假设检验检测信息丰富来源，然后将这些来源与目标数据结合，构建融合分位数回归模型。
• 在分位数回归框架中采用Lasso型正则化，以处理高维特征空间。
• 制定一种迁移学习估计器，整合目标数据和选定的信息丰富来源，提升估计效率。
• 在合理的正则性条件下（包括稀疏性和次高斯误差假设）确保来源检测的一致性。
• 使用交叉验证和模型选择准则来调节正则化参数，优化性能。

实验结果

研究问题

• RQ1 我们能否在高维分位数回归中一致地检测出模型与目标模型相似的外部数据来源？
• RQ2 所提出的迁移学习方法与仅使用目标数据或无差别地合并所有数据的朴素估计器相比，表现如何？
• RQ3 迁移学习估计器的误差率在多大程度上依赖于样本量、信噪比和模型相似性？
• RQ4 在目标数据有限的真实应用场景中（如罕见机型的硬着陆风险预测），迁移学习是否能提升估计精度？
• RQ5 该方法如何处理来源与目标之间在特征分布、模型结构和误差分布方面的异质性？

主要发现

• 所提方法的均方误差（MSE）显著低于仅使用目标数据的朴素估计器，尤其在目标样本量较小时表现更优。
• 在正则性条件下，通过样本分割进行的来源检测具有一致性，即随着样本量增大，该方法能以高概率正确识别信息丰富来源。
• 当信噪比较高且来源与目标模型相似性较强时，迁移学习估计器能更显著地降低误差率。
• 在飞行安全应用中，该方法成功利用波音737和空中客车A320的数据，提升了A380机型硬着陆风险的预测能力，尽管这些机型在运行特性上相似但不完全相同。
• 在QAR数据应用中，Q-Q图和残差分析表明，该方法对非正态误差分布和异方差性具有鲁棒性。
• 引入多个多样化但相似的来源（如不同机型）可实现更好的泛化能力和更稳定的分位数估计，优于仅使用单一来源或无差别地合并所有来源。