[论文解读] Nonconvex Rectangular Matrix Completion via Gradient Descent without $\ell_{2,\infty}$ Regularization

Ji Chen, Dekai Liu+1 more|arXiv (Cornell University)|Jan 18, 2019

Sparse and Compressive Sensing Techniques参考文献 45被引用 9

一句话总结

本文提出了一种非凸矩陣補全方法，採用原始梯度下降法，不使用 ℓ₂,∞ 正則化，實現了在顯著提升的採樣率 O(μ²r²κ¹⁴log n / n) 下的精確恢復，相比先前工作有顯著改進。分析結果擴展了先前對正定矩陣的研究，並引入了新穎的技術工具，以在不依賴正則化的情況下維持理論保證，通過改進的留一法分析實現。

ABSTRACT

The analysis of nonconvex matrix completion has recently attracted much attention in the community of machine learning thanks to its computational convenience. Existing analysis on this problem, however, usually relies on $\ell_{2,\infty}$ projection or regularization that involves unknown model parameters, although they are observed to be unnecessary in numerical simulations, see, e.g., Zheng and Lafferty [2016]. In this paper, we extend the analysis of the vanilla gradient descent for positive semidefinite matrix completion proposed in Ma et al. [2017] to the rectangular case, and more significantly, improve the required sampling rate from $O(\operatorname{poly}(κ)μ^3 r^3 \log^3 n/n )$ to $O(μ^2 r^2 κ^{14} \log n/n )$. Our technical ideas and contributions are potentially useful in improving the leave-one-out analysis in other related problems.

研究动机与目标

• 消除非凸矩陣補全中對 ℓ₂,∞ 正則化的依賴，該正則化在先前工作中雖理論上必要，但通常在數值上無效。
• 將原始梯度下降的理論分析從正定矩陣推廣至一般矩形低秩矩陣補全問題。
• 將所需的採樣複雜度從 O(poly(κ)μ³r³log³n / n) 改進至 O(μ²r²κ¹⁴log n / n)，顯著降低對條件數和秩的依賴。
• 發展一種適用於非凸矩陣補全的改進留一法分析技術，並可能可推廣至其他低秩恢復問題。

提出的方法

• 基於低秩分解 M ≈ XYᵀ 提出非凸優化問題，最小化觀測條目上的最小二乘損失，不使用 ℓ₂,∞ 正則化。
• 採用原始梯度下降法並結合譜初始化，避免對投影或正則化的依賴。
• 引入一種新型的留一法分析框架，以控制迭代過程的演變，並約束迭代值與真實因子之間的偏差。
• 使用旋轉矩陣 Rᵗ⁽ˡ⁾ 將迭代值 Xᵗ⁽ˡ⁾, Yᵗ⁽ˡ⁾ 與真實因子對齊，從而透過正交普魯斯特問題進行比較。
• 利用隨機矩陣理論與無關性假設，推導梯度與海塞矩陣的集中不等式。
• 通過分析旋轉後真實與估計迭代值之間的差異，建立因子矩陣誤差的遞歸界。

实验结果

研究问题

• RQ1 原始梯度下降能否在無 ℓ₂,∞ 正則化或投影的情況下，實現矩形低秩矩陣補全的精確矩陣恢復？
• RQ2 在無正則化的非凸優化下，實現精確恢復所需的最小採樣率是多少？
• RQ3 矩陣的條件數與無關性如何影響收斂性與採樣複雜度？
• RQ4 留一法分析技術能否推廣至無正則化的非凸矩陣補全？
• RQ5 考慮到正則化在實際數值計算中無效，其在非凸矩陣補全中的理論作用為何？

主要发现

• 本文在採樣率 O(μ²r²κ¹⁴log n / n) 下，證明了不使用 ℓ₂,∞ 正則化即可實現低秩矩陣的精確恢復。
• 改進的採樣率將對條件數 κ 的依賴從 poly(κ) 降低至 κ¹⁴，實現了顯著的理論提升。
• 分析結果表明，ℓ₂,∞ 正則化對收斂性或精確恢復並非必要，從而解決了長期存在的理論缺口。
• 本研究發展的留一法技術為非凸優化在低秩矩陣恢復中的分析提供了新框架。
• 該方法在譜初始化與合適步長下可收斂至全局最小值，並對誤差傳播提供了明確的界。