[论文解读] The nonsmooth landscape of blind deconvolution

Mateo Díaz|arXiv (Cornell University)|Nov 19, 2019

Sparse and Compressive Sensing Techniques参考文献 41被引用 4

一句话总结

本文分析了盲反卷积非凸形式的非光滑景观，表明随着测量数增加，虚假临界点会集中在余维为二的子空间附近。作者证明，在标准高斯测量假设下，即使没有显式初始化，随机初始化的次梯度方法也能因有利的几何结构而在实践中成功。

ABSTRACT

The blind deconvolution problem aims to recover a rank-one matrix from a set of rank-one linear measurements. Recently, Charisopulos et al. introduced a nonconvex nonsmooth formulation that can be used, in combination with an initialization procedure, to provably solve this problem under standard statistical assumptions. In practice, however, initialization is unnecessary. As we demonstrate numerically, a randomly initialized subgradient method consistently solves the problem. In pursuit of a better understanding of this phenomenon, we study the random landscape of this formulation. We characterize in closed form the landscape of the population objective and describe the approximate location of the stationary points of the sample objective. In particular, we show that the set of spurious critical points lies close to a codimension two subspace. In doing this, we develop tools for studying the landscape of a broader family of singular value functions, these results may be of independent interest.

研究动机与目标

• 理解为何随机初始化的次梯度方法在非凸且非光滑的问题中仍能成功求解盲反卷积。
• 刻画高维下样本目标函数驻点的几何结构。
• 研究总体目标函数的景观，并在独立同分布高斯测量下证明其收敛至余维为二的子空间。
• 开发用于分析非光滑、非凸优化中奇异值函数的工具，其应用可超越盲反卷积。
• 通过损失景观的几何分析，解释初始化自由的次梯度方法在盲反卷积中经验成功的原理。

提出的方法

• 作者分析了总体目标函数，定义为测量绝对误差的期望，其仅依赖于未知秩一矩阵的奇异向量。
• 他们推导出总体目标函数次微分的闭式表达式，并刻画其临界点。
• 利用测度集中性，他们证明当测量数增加时，样本目标函数的次微分以高概率集中在总体次微分附近。
• 他们证明虚假临界点集合以可控速率收敛至余维为二的子空间，意味着存在一个大的有利几何区域。
• 该分析借助随机矩阵理论和奇异值函数分析的工具，以处理损失函数的非光滑性。
• 他们结合弱锐性与次微分集中性结果，界定了任一点到真实解集的距离。

实验结果

研究问题

• RQ1 为何随机初始化的次梯度方法在实践中能持续求解盲反卷积，尽管问题具有非凸性和非光滑性？
• RQ2 在高维盲反卷积中，样本目标函数驻点的几何结构是什么？
• RQ3 随着测量数增加，总体目标函数景观与样本景观之间有何关系？
• RQ4 虚假临界点在多大程度上靠近低维子空间，这对优化有何影响？
• RQ5 能否将分析奇异值函数的工具推广至处理非光滑、非凸优化问题？

主要发现

• 随着测量数增加，样本目标函数的虚假临界点集合收敛至余维为二的子空间。
• 该收敛以可控速率发生，意味着参数空间的大部分区域具有有利于优化的几何结构。
• 总体目标函数的景观被解析刻画，其临界点被证明位于余维为二的子空间上。
• 当测量数超过与维度之和成比例的阈值时，样本目标函数的次微分以高概率集中在总体次微分附近。
• 该分析解释了初始化自由次梯度方法的经验成功：有利的几何结构降低了陷入虚假局部极小值的可能性。
• 结果为非光滑、非凸盲反卷积中随机初始化的鲁棒性提供了理论基础。