[论文解读] Sparse Linear Regression With Missing Data

Ravi Ganti, Rebecca Willett|arXiv (Cornell University)|Mar 28, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用 5

一句话总结

本文提出SLRM，一种新颖的随机优化方法，用于处理缺失数据的稀疏线性回归，该方法联合学习低秩数据结构与稀疏回归系数。通过在统一框架中整合矩阵补全与稀疏回归，SLRM在泛化误差方面具有理论保证，并在合成数据集和真实数据集上展现出优越的性能，优于两阶段方法。

ABSTRACT

This paper proposes a fast and accurate method for sparse regression in the presence of missing data. The underlying statistical model encapsulates the low-dimensional structure of the incomplete data matrix and the sparsity of the regression coefficients, and the proposed algorithm jointly learns the low-dimensional structure of the data and a linear regressor with sparse coefficients. The proposed stochastic optimization method, Sparse Linear Regression with Missing Data (SLRM), performs an alternating minimization procedure and scales well with the problem size. Large deviation inequalities shed light on the impact of the various problem-dependent parameters on the expected squared loss of the learned regressor. Extensive simulations on both synthetic and real datasets show that SLRM performs better than competing algorithms in a variety of contexts.

研究动机与目标

• 为解决特征向量中包含缺失条目时的稀疏线性回归挑战，此类问题在传感器网络、调查和推荐系统等真实世界数据中普遍存在。
• 克服两阶段方法的次优性，即先通过矩阵补全填补缺失值，再应用稀疏回归。
• 构建一个统一的统计模型，同时捕捉不完整数据中的低秩结构与回归系数的稀疏性。
• 设计一种高效的优化算法，能够良好扩展至大规模问题，并有效利用标签信息。
• 建立关于泛化误差的大偏差界限，其表达形式涉及数据缺失程度、维度与算法参数。

提出的方法

• 提出一个统一的统计模型，其中数据矩阵 $X$ 被建模为低秩矩阵 $U_*A_*$ 加上噪声，而标签 $Y$ 通过低维编码 $A_*^\top w_*$ 的稀疏线性组合生成。
• 引入SLRM算法，一种随机优化方法，通过交替更新子空间矩阵 $U$、系数矩阵 $A$ 和稀疏回归向量 $w$，结合一阶与二阶优化步骤。
• 采用交替最小化过程，联合优化低秩结构与稀疏回归系数，避免了两阶段方法中固有的误差传播问题。
• 推导出期望平方损失的大偏差不等式，表明泛化误差依赖于环境维度 $D$、观测条目数 $m$ 以及正则化参数 $\gamma$。
• 利用浓度不等式与Rademacher复杂度的界，推导出形式为 $\mathcal{R}_n(\mathcal{F}_g) \leq \frac{45DR_1\|X\|_\infty}{(1-\gamma)\sqrt{n}}$ 的泛化误差界，该界在假设类上一致成立。
• 采用基于数据的正则化方案，其中参数 $\alpha^*$ 通过最小化期望风险的界导出，最终得到的误差界呈 $\mathcal{O}(1/\sqrt{n})$ 的尺度。

实验结果

研究问题

• RQ1 统一框架是否能通过联合学习低秩结构与稀疏回归系数，优于先填补缺失值再进行回归的两阶段方法？
• RQ2 缺失数据的数量如何影响稀疏回归模型的泛化误差？
• RQ3 环境维度 $D$、观测条目数 $m$ 与正则化参数 $\gamma$ 等关键参数对期望平方损失的理论影响是什么？
• RQ4 在存在缺失特征的情况下，所提出的SLRM算法是否相比现有方法具有更强的噪声容忍度与更好的测试性能？
• RQ5 联合优化低秩结构与稀疏系数是否能在具有缺失条目的真实世界数据集中提升标签预测的准确性？

主要发现

• SLRM 显著优于先使用矩阵补全完成数据矩阵再应用LASSO的两阶段方法，尤其在高缺失率与低信噪比场景下表现更优。
• 理论分析表明，SLRM的泛化误差被界于 $\mathcal{O}(1/\sqrt{n})$，且显式依赖于环境维度 $D$、观测条目数 $m$ 与正则化参数 $\gamma$。
• 在合成数据集与真实数据集（包括Leukemia、CT slice、ATP1d/ATP7d）上的大量实验表明，SLRM在存在缺失特征的测试集上实现了更低的均方误差，优于对比算法。
• 该算法表现出强噪声容忍能力，即使在大量特征缺失的情况下仍能保持较低的测试误差，归因于联合学习过程中对标签信息的有效利用。
• 推导出的大偏差界证实，期望平方损失随样本量 $n$ 与观测条目数 $m$ 增加而减小，且受参数 $\gamma$ 的控制。
• 最优正则化参数 $\alpha^*$ 通过最小化风险界被解析导出，从而形成一种鲁棒且数据自适应的学习方案。