[论文解读] Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing

Jian‐Feng Cai, Suhui Liu+1 more|arXiv (Cornell University)|Jul 14, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用 4

一句话总结

该论文提出了一种投影Wirtinger梯度下降法（PWGD）及其FISTA加速变体，用于从少量非均匀时域采样中高效恢复频谱稀疏信号。通过将问题建模为低秩Hankel矩阵补全，并利用具有O(NR)内存复杂度的可行点法，该算法实现了全局收敛，且在高维信号上具有良好的可扩展性，其速度和可扩展性优于基于凸松弛的EMaC等方法。

ABSTRACT

This paper considers reconstructing a spectrally sparse signal from a small number of randomly observed time-domain samples. The signal of interest is a linear combination of complex sinusoids at $R$ distinct frequencies. The frequencies can assume any continuous values in the normalized frequency domain $[0,1)$. After converting the spectrally sparse signal recovery into a low rank structured matrix completion problem, we propose an efficient feasible point approach, named projected Wirtinger gradient descent (PWGD) algorithm, to efficiently solve this structured matrix completion problem. We further accelerate our proposed algorithm by a scheme inspired by FISTA. We give the convergence analysis of our proposed algorithms. Extensive numerical experiments are provided to illustrate the efficiency of our proposed algorithm. Different from earlier approaches, our algorithm can solve problems of very large dimensions very efficiently.

研究动机与目标

• 解决从有限时域采样中恢复具有连续频率值的频谱稀疏信号的挑战。
• 克服基于凸优化的低秩矩阵补全方法在高维信号上计算效率低下的问题。
• 开发一种可扩展的一阶算法，避免内点法所依赖的O(N²)内存复杂度和O(N⁴) Hessian矩阵计算。
• 实现对高维信号（例如N > 2500）的实际恢复，而现有方法因内存限制而失效。
• 通过受FISTA启发的方案提供全局收敛保证和加速，以实现更快的收敛速度。

提出的方法

• 利用信号自相关结构，将频谱稀疏信号恢复问题建模为低秩Hankel矩阵补全问题。
• 提出一种可行点算法——投影Wirtinger梯度下降法（PWGD），通过Wirtinger导数迭代最小化数据保真项。
• 在每次迭代中应用奇异值阈值化以强制实现低秩结构，确保解保持可行。
• 引入类似FISTA的加速方案，结合动量和自适应步长以加速收敛，同时保持收敛性保证。
• 采用投影梯度更新并结合精确线搜索，确保每一步均实现目标函数的充分下降。
• 通过利用低秩和Hankel结构，将内存复杂度保持在O(NR)，避免存储完整矩阵。

实验结果

研究问题

• RQ1 非凸一阶方法是否能在大规模频谱稀疏信号恢复中超越基于凸松弛的矩阵补全方法？
• RQ2 带有低秩约束的投影Wirtinger梯度下降算法是否能为Hankel矩阵补全问题提供全局收敛性？
• RQ3 FISTA风格的加速是否能显著减少达到收敛所需的迭代次数，同时不损失精度？
• RQ4 在样本复杂度和稀疏度方面，成功恢复的经验相变行为如何？
• RQ5 与EMaC或CVX等凸求解器相比，所提算法在信号维度增加时的可扩展性如何？

主要发现

• PWGD算法可从M ≈ 2R个采样点中成功恢复频谱稀疏信号，其相变行为表明在样本数超过某一阈值后可实现可靠恢复。
• 当N = 2501时，PWGD算法在R = 13且M = 500的条件下耗时133秒完成信号恢复，而EMaC因内存溢出而失败。
• PWGD-FISTA变体达到相同精度所需的迭代次数仅为标准PWGD的约2/3，显示出显著的加速效果。
• 当M超过每种R的临界阈值时，在100次蒙特卡洛试验中，相对恢复误差始终低于5×10⁻³，验证了算法的鲁棒性。
• 该方法在N = 5001、R = 31且M = 2000的条件下耗时403秒完成恢复，证明其在极高维问题中的可行性。
• 通过Attouch与Bolte的非凸优化框架，结合Kurdyka–Łojasiewicz性质，建立了理论收敛性。