[论文解读] Nonconvex Low-Rank Matrix Recovery with Arbitrary Outliers via Median-Truncated Gradient Descent

Yuanxin Li, Yuejie Chi+2 more|arXiv (Cornell University)|Sep 23, 2017

Sparse and Compressive Sensing Techniques参考文献 34被引用 5

一句话总结

该论文提出了一种中位数截断梯度下降（median-TGD）算法，用于在任意异常值存在的情况下实现鲁棒的非凸低秩矩阵恢复。通过自适应地排除残差远离中位数的样本，该方法即使在恒定比例的测量值被任意破坏的情况下，也能实现接近最优样本复杂度的线性收敛，逼近真实解。

ABSTRACT

Recent work has demonstrated the effectiveness of gradient descent for directly recovering the factors of low-rank matrices from random linear measurements in a globally convergent manner when initialized properly. However, the performance of existing algorithms is highly sensitive in the presence of outliers that may take arbitrary values. In this paper, we propose a truncated gradient descent algorithm to improve the robustness against outliers, where the truncation is performed to rule out the contributions of samples that deviate significantly from the {\em sample median} of measurement residuals adaptively in each iteration. We demonstrate that, when initialized in a basin of attraction close to the ground truth, the proposed algorithm converges to the ground truth at a linear rate for the Gaussian measurement model with a near-optimal number of measurements, even when a constant fraction of the measurements are arbitrarily corrupted. In addition, we propose a new truncated spectral method that ensures an initialization in the basin of attraction at slightly higher requirements. We finally provide numerical experiments to validate the superior performance of the proposed approach.

研究动机与目标

• 解决标准非凸梯度下降在低秩矩阵恢复中对任意异常值的敏感性问题。
• 开发一种鲁棒的优化框架，即使在恒定比例的测量值遭受对抗性破坏时，仍能保持全局收敛性。
• 在提升鲁棒性的同时，确保接近最优的样本复杂度，通过基于中位数的截断实现。
• 提出一种新型的截断谱方法用于初始化，确保在稍强条件下收敛至吸引域。
• 证明基于中位数的截断在初始化和梯度更新中均能有效抑制异常值的影响。

提出的方法

• 提出中位数截断梯度下降（median-TGD），其中仅对残差在基于中位数的阈值范围内的样本计算梯度更新。
• 在每次迭代中基于当前测量残差的中位数自适应地截断样本，从而降低异常值的影响。
• 引入一种用于初始化的截断谱方法，仅选择残差接近中位数的样本，以确保鲁棒的初始化。
• 利用基于中位数的截断同时控制初始化和局部搜索步骤，借助中位数对重尾或对抗性偏离的鲁棒性。
• 截断阈值在每次迭代中动态更新，实现无需事先了解破坏模式的自适应异常值剔除。
• 理论分析依赖于浓度不等式和矩阵偏离界，证明在高斯测量模型下，截断迭代序列能收敛至真实的低秩矩阵。

实验结果

研究问题

• RQ1 能否在不牺牲收敛性保证的前提下，使低秩矩阵恢复的梯度下降方法对任意异常值具有鲁棒性？
• RQ2 在对抗性破坏下，基于中位数的截断是否相比标准梯度下降能显著提升鲁棒性？
• RQ3 当恒定比例的测量值被破坏时，median-TGD 需要多大的样本复杂度才能实现线性收敛？
• RQ4 截断谱方法能否提供一种可靠的初始化，使迭代点位于 median-TGD 的吸引域内？
• RQ5 与凸鲁棒方法相比，median-TGD 在计算效率和鲁棒性方面表现如何？

主要发现

• 所提出的 median-TGD 算法即使在恒定比例的测量值被任意破坏的情况下，只要初始化位于吸引域内，仍能以线性速率收敛至真实解。
• 该方法实现了接近最优的样本复杂度，对于秩为 $ r $ 的 $ n imes n $ 低秩矩阵，仅需 $ O(n ext{ polylog}(n)) $ 个测量值。
• 截断谱初始化在比标准初始化稍强的条件下，可确保收敛至吸引域。
• 理论分析表明，通过排除残差显著偏离中位数的样本，截断梯度更新能保持稳定性。
• 数值实验验证了 median-TGD 在异常值破坏下相比标准非凸和凸方法具有更优的鲁棒性和更快的收敛速度。
• 该算法的鲁棒性源于中位数对异常值的抗扰性，即除非超过一半的样本被破坏，否则中位数不会被任意扰动。