[论文解读] Solving (Almost) all Systems of Random Quadratic Equations

Gang Wang, Georgios B. Giannakis+2 more|arXiv (Cornell University)|May 1, 2017

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

该论文提出了一种新颖的算法，用于求解随机二次方程组，采用加权最大相关性初始化，并结合一种新型正则化方案的迭代重加权梯度迭代方法。当 m ≥ cn 时，该算法在读取数据时间量级内以高概率实现精确恢复，其在高维设置和噪声条件下的表现优于当前最先进方法。

ABSTRACT

This paper deals with finding an $n$-dimensional solution $\bm{x}$ to a system of quadratic equations $y_i=|\langle\bm{a}_i,\bm{x} angle|^2$, $1\le i \le m$, which in general is known to be NP-hard. We put forth a novel procedure, that starts with a \emph{weighted maximal correlation initialization} obtainable with a few power iterations, followed by successive refinements based on \emph{iteratively reweighted gradient-type iterations}. The novel techniques distinguish themselves from prior works by the inclusion of a fresh (re)weighting regularization. For certain random measurement models, the proposed procedure returns the true solution $\bm{x}$ with high probability in time proportional to reading the data $\{(\bm{a}_i;y_i)\}_{1\le i \le m}$, provided that the number $m$ of equations is some constant $c > 0$ times the number $n$ of unknowns, namely, $m\ge cn$. Empirically, the upshots of this contribution are: i) perfect signal recovery in the high-dimensional regime given only an information-theoretic limit number of equations; and, ii) near-optimal statistical accuracy in the presence of additive noise. Extensive numerical tests using both synthetic data and real images corroborate its improved signal recovery performance and computational efficiency relative to state-of-the-art approaches.

研究动机与目标

• 为解决从 m 个二次测量 y_i = |⟨a_i, x⟩|² 恢复 n 维信号这一 NP 难问题。
• 开发一种计算高效的算法，实现在接近信息论极限的样本复杂度下精确恢复。
• 在高维设置下保持高计算效率的同时，提升对加性噪声的鲁棒性。
• 提出一种新颖的重加权正则化策略，以增强非凸优化中的收敛性和准确性。

提出的方法

• 该方法首先通过少量幂迭代计算加权最大相关性初始化，以获得解的良好初始估计。
• 采用迭代重加权梯度型迭代方法优化解，结合一种新颖的（重）加权正则化策略以提升收敛性。
• 重加权机制根据残差误差自适应调整每个方程的影响，从而增强鲁棒性和准确性。
• 该算法设计为收敛时间与读取数据时间成正比，使其在大规模问题中计算高效。
• 在随机测量模型下对该方法进行理论分析，证明当 m ≥ cn（c > 0 为某常数）时，可实现高概率恢复。

实验结果

研究问题

• RQ1 非凸优化方法能否从接近最小数量的随机二次测量中实现真实信号的精确恢复？
• RQ2 所引入的新颖重加权正则化策略在求解二次系统时，如何提升收敛性和鲁棒性？
• RQ3 在 m ≈ n 的高维情形下，该算法在多大程度上可实现精确恢复？
• RQ4 与现有方法相比，该方法在存在加性噪声时的性能如何？

主要发现

• 当方程数量 m 是未知数 n 的常数倍 c 时，即 m ≥ cn，所提算法以高概率恢复真实解。
• 精确恢复所需时间与读取数据时间成正比，使该方法在大规模问题中计算高效。
• 即使在信息论极限 m ≈ n 下，该方法在高维情形下仍能实现完美信号恢复。
• 在存在加性噪声时，该算法实现了接近最优的统计精度，优于当前最先进方法。
• 在合成数据和真实图像上的大量数值实验验证了其卓越的信号恢复性能和计算效率。