[论文解读] Sharp Restricted Isometry Bounds for the Inexistence of Spurious Local Minima in Nonconvex Matrix Recovery

Richard Y. Zhang, Somayeh Sojoudi+1 more|arXiv (Cornell University)|Jan 6, 2019

Sparse and Compressive Sensing Techniques被引用 30

一句话总结

本文为非凸矩阵恢复问题建立了精确的限制等距性质（RIP）界限，证明对于秩-1矩阵，当RIP常数δ < 1/2时，既必要又充分以保证不存在虚假局部极小值。作者提出一种新颖的证明技术，通过反证法排除反例的存在，推导出紧致的阈值，表明当δ < 1/2时，从任意初始点出发均可保证精确恢复；同时在有利初始条件下提供局部恢复保证。

ABSTRACT

Nonconvex matrix recovery is known to contain no spurious local minima under a restricted isometry property (RIP) with a sufficiently small RIP constant $\\delta$. If $\\delta$ is too large, however, then counterexamples containing spurious local minima are known to exist. In this paper, we introduce a proof technique that is capable of establishing sharp thresholds on $\\delta$ to guarantee the inexistence of spurious local minima. Using the technique, we prove that in the case of a rank-1 ground truth, an RIP constant of $\\delta&lt;1/2$ is both necessary and sufficient for exact recovery from any arbitrary initial point (such as a random point). We also prove a local recovery result: given an initial point $x_{0}$ satisfying $f(x_{0})\\le(1-\\delta)^{2}f(0)$, any descent algorithm that converges to second-order optimality guarantees exact recovery.

研究动机与目标

• 填补非凸矩阵恢复中虚假局部极小值不存在的必要与充分RIP常数之间的差距。
• 在受限等距性质下，为秩-1矩阵感知问题中的精确恢复建立精确阈值。
• 开发一种新证明技术，通过否定反例的存在性，推导出必要与充分条件。
• 在全局保证对δ ≥ 1/2失效时，基于初始点质量提供局部恢复保证。
• 通过证明δ < 1/2对秩-1问题而言既必要又充分，统一非凸优化在矩阵恢复中的理论理解。

提出的方法

• 作者提出一种新颖的证明策略，通过否定存在满足δ-RIP且包含虚假局部极小值的反例来实现。
• 定义δ*为存在此类反例的RIP常数的下确界，并证明δ < δ*可保证不存在虚假局部极小值。
• 该方法依赖于构建并分析涉及矩阵H、e、X和向量y、U₁、U₂、V的原始-对偶证书系统，以验证可行性条件。
• 证明利用正交投影矩阵P及其克罗内克积P⊗P，将高维变量与低维对应量关联起来。
• 推导出关键恒等式，以在从原始变量到投影变量的变换下验证原始与对偶可行性方程。
• 分析利用矩阵正交性与半正定性，证明海森矩阵与线性约束满足所需的不等式。

实验结果

研究问题

• RQ1 在秩-1情况下，非凸矩阵恢复中无虚假局部极小值的RIP常数δ的精确阈值是多少？
• RQ2 能否开发一种证明技术，以同时建立虚假局部极小值不存在的必要与充分条件？
• RQ3 当δ ≥ 1/2时，初始点的质量如何影响恢复保证？
• RQ4 δ = 1/2是否为全局保证失效的确切阈值？能否严格证明这一点？
• RQ5 当全局保证失效时，是否可在有利初始条件下保证局部恢复？

主要发现

• 对于秩-1矩阵恢复，当RIP常数δ < 1/2时，既必要又充分以保证不存在虚假局部极小值。
• 当δ < 1/2时，任何收敛至二阶临界点的局部搜索算法，均可从任意初始点精确恢复真实解。
• 阈值δ = 1/2是紧致的：当δ ≥ 1/2时，存在包含虚假局部极小值的反例，且全局保证失效。
• 建立了局部恢复保证：若初始点满足f(x₀) ≤ (1−δ)²‖M⋆‖²_F，则收敛至二阶最优性的下降算法可恢复M⋆。
• 所提出的证明技术通过否定δ = 1/2以下反例的存在性，成功识别出精确阈值。
• 结果证实，先前已知的δ < 1/5界限并不紧致，δ < 1/2才是秩-1问题的真实阈值。