[论文解读] Stochastic Gradient Descent for Linear Systems with Missing Data

Anna Ma, Deanna Needell|arXiv (Cornell University)|Feb 23, 2017

Sparse and Compressive Sensing Techniques参考文献 21被引用 4

一句话总结

本文提出mSGD算法，一种专为求解含缺失数据的大规模线性系统而设计的随机梯度下降方法。通过利用无偏梯度估计和投影步骤将SGD适配于处理不完整矩阵，该方法即使在系统不一致的情况下也能实现固定步长下的线性收敛，提供了理论保证，并在模拟数据和真实世界数据上进行了实证验证。

ABSTRACT

Traditional methods for solving linear systems have quickly become impractical due to an increase in the size of available data. Utilizing massive amounts of data is further complicated when the data is incomplete or has missing entries. In this work, we address the obstacles presented when working with large data and incomplete data simultaneously. In particular, we propose to adapt the Stochastic Gradient Descent method to address missing data in linear systems. Our proposed algorithm, the Stochastic Gradient Descent for Missing Data method (mSGD), is introduced and theoretical convergence guarantees are provided. In addition, we include numerical experiments on simulated and real world data that demonstrate the usefulness of our method.

研究动机与目标

• 解决在数据不完整或存在缺失条目时求解大规模线性系统的问题。
• 开发一种适用于含缺失值的海量数据集的低内存、迭代式方法。
• 为在缺失数据存在的情况下，随机梯度下降的收敛性提供理论保证。
• 在模拟数据和真实世界数据集上展示所提方法的有效性。

提出的方法

• 提出mSGD，一种随机梯度下降变体，利用从不完整矩阵A中随机选取的行获得无偏梯度估计。
• 将目标函数定义为||Ax - b||²/2m的最小二乘问题，其中A为部分观测矩阵。
• 通过将迭代点投影到凸集W上，确保迭代过程始终位于可行域内。
• 采用固定步长策略，即使在系统不一致时也能实现线性收敛。
• 利用∇F(x⋆) = 0在不一致情况下仍成立（由于残差正交性），从而保持收敛性质。
• 基于Lipschitz连续性和强凸性假设，推导出收敛性边界。

实验结果

研究问题

• RQ1 当数据缺失时，能否有效将随机梯度下降方法适配于求解线性系统？
• RQ2 所提出的mSGD方法是否能在固定步长下实现对不一致线性系统的线性收敛？
• RQ3 与标准方法相比，mSGD在含缺失值的大规模真实数据上的实际表现如何？
• RQ4 在缺失数据假设下，能否为mSGD建立理论保证？

主要发现

• mSGD算法即使在不一致线性系统下，也能使用固定步长实现线性收敛，突破了通常需要递减步长的限制。
• 理论分析表明，期望误差呈几何级数衰减，其上界为r^k ||x₀ - x⋆||² + α²G⋆/(1 - r)，其中r < 1。
• 当∇F(x⋆) = 0因残差正交性而成立时（即使Ax⋆ ≠ b），该方法仍能保持收敛。
• 在模拟数据和真实世界数据上的数值实验验证了mSGD的实际效用和鲁棒性。
• 收敛速率取决于强凸性参数μ和梯度的Lipschitz常数Lg。