[论文解读] Regularized Gradient Descent: A Nonconvex Recipe for Fast Joint Blind Deconvolution and Demixing

Shuyang Ling, Thomas Strohmer|arXiv (Cornell University)|Mar 25, 2017

Sparse and Compressive Sensing Techniques参考文献 39被引用 9

一句话总结

本文提出了一种非凸正则化梯度下降算法，用于从其叠加卷积中快速、可证明地恢复多个信号对，实现对全局最小值的线性收敛，并具备抗噪声能力。该方法在保持强理论保证的同时，为中大型规模问题提供了计算高效的凸优化替代方案，且在竞争性条件下表现优异。

ABSTRACT

We study the question of extracting a sequence of functions $\{\boldsymbol{f}_i, \boldsymbol{g}_i\}_{i=1}^s$ from observing only the sum of their convolutions, i.e., from $\boldsymbol{y} = \sum_{i=1}^s \boldsymbol{f}_i\ast \boldsymbol{g}_i$. While convex optimization techniques are able to solve this joint blind deconvolution-demixing problem provably and robustly under certain conditions, for medium-size or large-size problems we need computationally faster methods without sacrificing the benefits of mathematical rigor that come with convex methods. In this paper, we present a non-convex algorithm which guarantees exact recovery under conditions that are competitive with convex optimization methods, with the additional advantage of being computationally much more efficient. Our two-step algorithm converges to the global minimum linearly and is also robust in the presence of additive noise. While the derived performance bounds are suboptimal in terms of the information-theoretic limit, numerical simulations show remarkable performance even if the number of measurements is close to the number of degrees of freedom. We discuss an application of the proposed framework in wireless communications in connection with the Internet-of-Things.

研究动机与目标

• 解决在多用户无线通信系统中仅观测到卷积信号叠加的联合盲反卷积与去混合挑战。
• 为中大型规模问题开发一种计算高效的凸优化替代方法，同时保持理论保证。
• 在测量数最少的情况下实现多个信号-信道对的精确恢复，即使测量数接近信息论极限亦可。
• 确保对加性噪声的鲁棒性，并适用于物联网（IoT）等实际应用场景。

提出的方法

• 将联合盲反卷积-去混合问题建模为低秩矩阵结构（表示卷积信号对）上的非凸优化问题。
• 提出一种两步算法，通过正则化梯度下降交替更新滤波器和信号分量的估计值。
• 引入正则化项以稳定优化过程，并在有利条件下促进精确恢复。
• 利用复数梯度下降结合复数海森矩阵与复共轭梯度更新，以处理问题的非凸结构。
• 利用浓度不等式与矩阵范数界，建立在随机测量模型下的理论收敛性与稳定性。
• 应用下降引理与矩阵浓度工具（如 ψ₁-范数与方差参数界），控制误差传播并确保线性收敛。

实验结果

研究问题

• RQ1 非凸优化方法是否能在具有可证明保证与计算效率的前提下实现联合盲反卷积-去混合的精确恢复？
• RQ2 与凸方法相比，所提出的非凸方法在样本复杂度与抗噪声性能方面表现如何？
• RQ3 在测量数与信号结构满足何种条件下，可保证线性收敛与全局恢复？
• RQ4 该方法在接近信息论极限的近最小测量数下，能多大程度上保持有效性？
• RQ5 在物联网赋能的多用户无线通信等实际应用中，该算法表现如何？

主要发现

• 所提出的正则化梯度下降算法在与凸方法竞争的条件下，可实现对全局最小值的线性收敛。
• 当测量数相对于自由度足够大时，即使存在加性噪声，也能可证明地保证精确恢复。
• 数值仿真表明，即使测量数接近自由度数量，该方法仍表现出强劲的实证性能，表明其接近最优的样本效率。
• 该方法对噪声具有鲁棒性，误差传播的理论界通过矩阵浓度与下降引理技术推导得出。
• 该算法在计算速度上优于凸方法，同时保持严格的理论恢复保证。
• 理论分析证实，在初始化与信号结构的弱假设下，该方法可实现全局收敛，且误差界与信噪比及问题维度成比例。