[论文解读] Open problem: Tightness of maximum likelihood semidefinite relaxations

Afonso S. Bandeira, Yuehaw Khoo+1 more|arXiv (Cornell University)|Apr 10, 2014

Sparse and Compressive Sensing Techniques参考文献 5被引用 12

一句话总结

本文研究了一个令人惊讶的经验证据：在噪声恢复问题中，最大似然估计（MLE）的半定规划（SDP）松弛解常常能恢复出正确的低秩解，即使精确的 MLE 恢复在理论上不可行。其主要贡献在于提出一个开放性猜想：在某一噪声阈值以下，此类 SDP 松弛仍保持紧致性（即恢复正确秩），尽管在非精确恢复情形下尚无理论依据解释该现象。

ABSTRACT

We have observed an interesting, yet unexplained, phenomenon: Semidefinite programming (SDP) based relaxations of maximum likelihood estimators (MLE) tend to be tight in recovery problems with noisy data, even when MLE cannot exactly recover the ground truth. Several results establish tightness of SDP based relaxations in the regime where exact recovery from MLE is possible. However, to the best of our knowledge, their tightness is not understood beyond this regime. As an illustrative example, we focus on the generalized Procrustes problem.

研究动机与目标

• 理解为何在噪声恢复问题中，最大似然估计（MLE）的半定规划（SDP）松弛常能恢复出正确的低秩解，即使精确的 MLE 恢复在理论上不可行。
• 识别非凸 MLE 问题的 SDP 松弛保持紧致性的理论条件，即产生与准 MLE 秩匹配的解。
• 形式化并提出一个关于高噪声环境下 SDP 松弛秩恢复的开放性问题，此时精确恢复不可行。
• 为两个典型问题——广义 Procrustes 问题与多参考对齐问题——提供数值证据与猜想，表明该秩恢复现象始终可观测。

提出的方法

• 将广义 Procrustes 问题表述为在正交矩阵上的非凸优化问题，以最小化变换后测量值之间的平方差之和。
• 通过将正交矩阵提升为半正定矩阵变量并松弛非凸的秩约束，推导出等价的半定规划（SDP）。
• 将 SDP 松弛（3）作为原始非凸问题（2）的凸近似，当解的秩为 d 时，其最优值保持不变。
• 通过构造对偶证书证明 d=1 情况下的紧致性，但指出此类论证在高维情况下失效，因为噪声下 MLE 的已知形式尚不明确。
• 提出一个猜想：当 d > 1 时，SDP 松弛（3）在噪声水平 σ < σ* 的临界阈值以下，以高概率恢复出秩 d，即使精确的 MLE 恢复不可行。
• 将该猜想扩展至多参考对齐问题，该问题中 SDP 具有不同的结构，但在中等噪声下表现出类似的秩恢复行为。

实验结果

研究问题

• RQ1 为何在噪声恢复问题中，MLE 的 SDP 松弛常能产生正确的低秩解，即使精确的 MLE 恢复不可行？
• RQ2 是否存在一个理论噪声阈值 σ*，使得当噪声水平 σ < σ* 时，广义 Procrustes 问题的 SDP 松弛能以高概率恢复正确的秩 d？
• RQ3 该秩恢复现象能否在精确恢复之外的范围内得到严格解释，特别是在具有连续参数空间和非凸约束的问题中？
• RQ4 在其他问题（如多参考对齐）中，尽管 SDP 结构和离散/连续参数空间存在差异，该秩恢复行为是否依然成立？
• RQ5 为何现有用于分析随机 SDP 解秩的理论工具无法解释这些特定恢复问题中观察到的秩恢复现象？

主要发现

• 在 d > 1 的广义 Procrustes 问题中，数值实验表明，SDP 松弛（3）在某一噪声水平 σ* 以下能以高概率恢复出秩 d，尽管由于 ℓ₂ 噪声的性质，精确的 MLE 恢复不可行。
• 当 d = 1 时，通过构造对偶证书，理论上证明了 SDP 松弛的紧致性，但该方法无法推广至 d > 1，原因在于噪声下 MLE 的闭式表达尚不明确。
• 该秩恢复现象不仅出现在广义 Procrustes 问题中，也出现在全局配准、相机运动估计等相关问题中。
• 尽管缺乏理论解释，数值证据（图 1）支持该猜想：在广义 Procrustes 和多参考对齐问题中，当噪声低于临界阈值时，秩恢复以高概率发生。
• 多参考对齐问题的 SDP 松弛具有 Ω(n²d²) 个正定约束，其结构与 Procrustes SDP 不同，但表现出相同的秩恢复行为，暗示存在更广泛的潜在机制。
• 即使精确恢复仅在噪声趋于零时渐近成立，该观察到的秩恢复现象仍能在常数、非零噪声水平下发生，表明 SDP 松弛在常数噪声下仍能捕捉到正确的解结构。