[论文解读] Semi-Supervised Linear Regression

David Azriel, Lawrence D. Brown+4 more|arXiv (Cornell University)|Dec 7, 2016

Statistical Methods and Inference参考文献 8被引用 12

一句话总结

本文提出了一种半监督线性回归方法，通过利用未标记数据改进标准最小二乘估计量（LSE），当条件期望 E[Y|X] 并非严格线性时，该方法可实现更优的估计。该方法利用未标记数据中 X 的边缘分布，构建线性系数向量 β 的渐近更优估计量，在模型设定错误时，其方差和均方误差均一致更小，且在有限样本中通过模拟和真实数据应用验证了稳定的性能提升。

ABSTRACT

We study a regression problem where for some part of the data we observe both the <i>label</i> variable (<i>Y</i>) and the <i>predictors</i> (X), while for other part of the data only the predictors are given. Such a problem arises, for example, when observations of the label variable are costly and may require a skilled human agent. When the conditional expectation E[Y|X] is not exactly linear, one can consider the best linear approximation to the conditional expectation, which can be estimated consistently by the least-square estimates (LSE). The latter depends only on the labeled data. We suggest improved alternative estimates to the LSE that use also the unlabeled data. Our estimation method can be easily implemented and has simply described asymptotic properties. The new estimates asymptotically dominate the usual standard procedures under certain non-linearity condition of E[Y|X]; otherwise, they are asymptotically equivalent. The performance of the new estimator for small sample size is investigated in an extensive simulation study. A real data example of inferring homeless population is used to illustrate the new methodology.

研究动机与目标

• 开发一种在真实条件期望 E[Y|X] 非线性但仍希望使用线性近似时，改进线性回归估计的方法。
• 利用仅观测到预测变量 X 的未标记数据，提升对线性系数向量 β 的估计，超越标准最小二乘法。
• 在模型设定错误时，建立新估计量相对于 LSE 的渐近优势，尤其在方差和预测误差方面。
• 通过模拟和一个真实世界无家可归人口估计案例研究，展示方法的实际应用价值。
• 探讨在高维和有限样本设置下，未标记数据提供有意义改进的条件。

提出的方法

• 该方法构建一个新的估计量 β̂_PI，利用未标记数据中 X 的经验分布，改进最佳线性预测器中 β 的估计。
• 假设未标记样本中 X 的边缘分布能代表标记数据的分布，从而在模型设定错误时实现更优推断。
• 该估计量基于 E[Y|X] 并非严格线性的假设推导，使方法能够利用条件均值中的非线性特征以改善估计。
• 当 E[Y|X] 非线性时，该方法在方差和均方误差方面渐近优于 LSE，而在模型正确设定时二者等价。
• 该方法计算简单，可使用标准回归工具实现，仅需基于未标记 X 分布添加加权或重加权机制。
• 理论性质在两种情形下推导：完全信息（m→∞）和部分信息（m 与 n 成比例），均显示一致的渐近改进。

(a) TI

实验结果

研究问题

• RQ1 当 E[Y|X] 并非严格线性时，未标记数据能否改善线性系数向量 β 的估计？
• RQ2 在何种条件下，引入未标记数据可实现相对于标准最小二乘估计量的渐近改进？
• RQ3 在有限样本中，新估计量与 LSE 相比表现如何，特别是在估计误差和预测误差方面？
• RQ4 模型设定错误对新估计量相对于 LSE 的相对性能有何影响？
• RQ5 该方法能否扩展至高维设置或广义线性模型？

主要发现

• 当 E[Y|X] 非线性时，所提出的估计量 β̂_PI 在方差和均方误差方面渐近优于标准最小二乘估计量（LSE）。
• 改进效果在不同非线性程度下均具有一致性，且在模型正确设定时性能无损失。
• 在有限样本中，模拟研究显示系数估计有显著改进，尽管由于 Y 的固有变异性，预测误差的增益较小。
• 真实数据案例研究（无家可归人口估计）表明，利用未标记数据可实现系数估计的实际改进。
• 当真实关系为非线性但仍使用线性近似时，该方法表现最佳，尤其在样本量低于依赖于非线性程度的临界阈值时。
• 理论结果可推广至高维设置（条件为 p << n），未来工作可拓展至变量选择和广义线性模型。

(b) PI