[论文解读] Noise-Tolerant Life-Long Matrix Completion via Adaptive Sampling

Maria-Florina Balcan, Hongyang Zhang|arXiv (Cornell University)|Dec 1, 2016

Sparse and Compressive Sensing Techniques被引用 14

一句话总结

该论文提出了适用于抗噪长期矩阵补全的自适应采样算法，在有界确定性噪声和稀疏随机噪声模型下实现了接近最优的采样复杂度。在有界噪声下提供了低误差恢复的可证明保证，在稀疏随机噪声下实现了高概率的精确恢复，匹配已知的下界，并将结果扩展至混合子空间设置，实现了更高的采样效率。

ABSTRACT

We study the problem of recovering an incomplete $m imes n$ matrix of rank $r$ with columns arriving online over time. This is known as the problem of life-long matrix completion, and is widely applied to recommendation system, computer vision, system identification, etc. The challenge is to design provable algorithms tolerant to a large amount of noises, with small sample complexity. In this work, we give algorithms achieving strong guarantee under two realistic noise models. In bounded deterministic noise, an adversary can add any bounded yet unstructured noise to each column. For this problem, we present an algorithm that returns a matrix of a small error, with sample complexity almost as small as the best prior results in the noiseless case. For sparse random noise, where the corrupted columns are sparse and drawn randomly, we give an algorithm that exactly recovers an $μ_0$-incoherent matrix by probability at least $1-δ$ with sample complexity as small as $O\left(μ_0rn\log (r/δ) ight)$. This result advances the state-of-the-art work and matches the lower bound in a worst case. We also study the scenario where the hidden matrix lies on a mixture of subspaces and show that the sample complexity can be even smaller. Our proposed algorithms perform well experimentally in both synthetic and real-world datasets.

研究动机与目标

• 设计在现实噪声模型下可证明鲁棒的长期矩阵补全过程算法，特别是有界确定性噪声和稀疏随机噪声模型。
• 在保证低秩矩阵在噪声下准确恢复的前提下，最小化采样复杂度。
• 将理论保证扩展至底层矩阵位于多个子空间混合的情形，实现更低的采样复杂度。
• 在合成数据集和真实世界数据集（包括Hopkins 155运动分割数据集）上对所提算法进行实证验证。

提出的方法

• 采用自适应采样策略，按序选择信息量丰富的列，以提升噪声环境下的估计精度。
• 对于有界确定性噪声，算法通过基于投影的更新和误差控制，维持对列空间的鲁棒估计。
• 对于稀疏随机噪声，方法利用受损列的稀疏性，结合自适应采样与核范数最小化，确保精确恢复。
• 理论分析将误差界与噪声水平和非一致性参数关联，表明采样复杂度接近无噪声情形。
• 提出一种新颖的子空间估计技术，即使在噪声观测下也能跟踪真实列空间，并提供收敛性保证。
• 通过将数据建模为位于多个低维子空间中的情形，将算法扩展至混合子空间设置，实现采样复杂度降低。

实验结果

研究问题

• RQ1 在有界确定性噪声下，自适应采样能否实现长期矩阵补全的近似最优采样复杂度？
• RQ2 所提方法在稀疏随机噪声下是否能以高概率保证对底层矩阵的精确恢复？
• RQ3 当底层矩阵位于子空间混合情形时，采样复杂度相较于单一切子空间情形如何变化？
• RQ4 该算法在合成数据集和真实世界数据集上是否均优于被动采样和已有方法？
• RQ5 在稀疏随机噪声下，精确恢复的理论采样复杂度下界是多少？所提方法是否与之匹配？

主要发现

• 在有界确定性噪声下，只要噪声水平较小，该算法即可实现较小的输出误差，且采样复杂度几乎与最佳已知无噪声结果一致。
• 在稀疏随机噪声下，该算法可确保以至少 1−δ 的概率精确恢复 μ₀-非一致矩阵，采样复杂度为 O(μ₀rn log(r/δ))，在最坏情况下与信息论下界一致。
• 相位转换实验表明，所提算法的成功区域严格优于被动采样和已有方法。
• 在混合子空间设置下，实现精确恢复所需的采样复杂度显著低于单一切子空间情形。
• 在合成数据集和真实世界数据集（包括Hopkins 155）上的实证结果表明，即使在中等采样率下，相对误差也低于 10⁻³，表现出高精度。
• 在稀疏随机噪声下，该算法的相位转换特性在 r 和 d 上近乎线性，与理论预测 d = Ω(μ₀r log(r/δ)) 一致，尤其在 δ 较小时。