[论文解读] Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift

Kaizheng Wang|arXiv (Cornell University)|Feb 20, 2023

Statistical Methods and Inference被引用 4

一句话总结

该论文提出了一种在协变量偏移下对核岭回归进行伪标签化的新型方法，利用未标记的目标数据和标记的源数据训练一个插补模型和多个候选模型。通过使用插补模型生成的伪标签来选择表现最佳的候选模型，该方法在对数因子范围内实现了极小化最大误差率，无需标注的目标数据即可适应目标分布和协变量偏移结构。

ABSTRACT

We develop and analyze a principled approach to kernel ridge regression under covariate shift. The goal is to learn a regression function with small mean squared error over a target distribution, based on unlabeled data from there and labeled data that may have a different feature distribution. We propose to split the labeled data into two subsets, and conduct kernel ridge regression on them separately to obtain a collection of candidate models and an imputation model. We use the latter to fill the missing labels and then select the best candidate accordingly. Our non-asymptotic excess risk bounds demonstrate that our estimator adapts effectively to both the structure of the target distribution and the covariate shift. This adaptation is quantified through a notion of effective sample size that reflects the value of labeled source data for the target regression task. Our estimator achieves the minimax optimal error rate up to a polylogarithmic factor, and we find that using pseudo-labels for model selection does not significantly hinder performance.

研究动机与目标

• 解决在仅有未标记目标数据和标记源数据时，如何在目标分布上训练出具有小均方误差的回归模型的挑战。
• 在协变量偏移下开发一种系统性的模型选择方法，其中由于目标分布中缺少标签，传统验证技术失效。
• 证明通过插补模型生成的伪标签可实现有效的模型选择，且即使插补模型不完美，性能也不会显著下降。
• 建立非渐近的过失风险界，以证明对目标分布结构和协变量偏移程度的自适应性。
• 通过证明伪标签带来的额外开销相对于其在模型选择准确性上的收益可忽略不计，解决模型选择中的先有鸡还是先有蛋的问题。

提出的方法

• 将标记的源数据划分为两个互不相交的子集：一个用于训练插补模型，另一个用于训练具有不同正则化参数的多个候选核岭回归模型。
• 在源数据的一个子集上训练插补模型，以预测未标记目标数据的标签，从而为模型评估生成伪标签。
• 在剩余的源数据上使用核岭回归训练候选模型，正则化参数各不相同。
• 通过使用伪标签化的目标数据进行保留验证来执行模型选择，从而将问题有效转化为标准KRR与验证的结合。
• 提出一种新颖的偏差-方差分解，以分析插补模型对模型选择的影响，表明即使伪标签噪声较大，也能提供有用信息。
• 理论分析表明，在核函数和分布满足温和正则性条件时，最终估计器在对数因子范围内实现了极小化最大误差率。

实验结果

研究问题

• RQ1 当目标分布中缺少标签时，伪标签能否在核岭回归中有效用于模型选择？
• RQ2 在不同分布（源分布）上训练的插补模型生成的伪标签，是否能产生针对目标分布的有效且自适应的估计器？
• RQ3 插补误差对模型选择性能的理论影响是什么？是否可以以一种保证极小化最大最优性的方式进行有界控制？
• RQ4 所提出的方法如何适应未知的协变量偏移和目标回归函数的内在平滑性？
• RQ5 尽管使用了合成标签且插补模型可能次优，该方法是否仍能实现极小化最大误差率？

主要发现

• 所提出的估计器在协变量偏移下的核岭回归中，即使插补模型在不同分布上训练，也能在对数因子范围内实现极小化最大误差率。
• 该方法对插补误差具有鲁棒性：使用伪标签带来的额外开销相对于插补模型的均方误差可忽略不计，从而实现可靠的模型选择。
• 理论分析揭示了一种针对伪标签化下模型选择的新型偏差-方差分解，表明即使伪标签误差较高，仍可实现最优的模型选择。
• 该方法能自适应地适应目标分布的未知结构和协变量偏移的程度，而无需事先知道偏移情况或真实回归函数。
• 该方法实现了高概率的过失风险界，其依赖于RKHS的复杂度和协变量偏移的集中性，展现出强大的有限样本性能。
• 通过理论边界的实证验证，确认所选模型的性能几乎等同于在目标数据上拥有保留验证时的表现。