[论文解读] The geometry of off-the-grid compressed sensing

Clarice Poon, Nicolas Keriven+1 more|arXiv (Cornell University)|Feb 23, 2018

Sparse and Compressive Sensing Techniques参考文献 45被引用 5

一句话总结

本文提出了一种用于非网格压缩感知的几何框架，采用费雪测地距离作为超分辨率性能的规范度量，即使在非平移不变的测量算子下，也能通过BLASSO实现稀疏测度的稳定恢复。研究证明，当狄拉克脉冲之间的分离距离超过类似瑞利的阈值时，可实现稳定恢复，样本复杂度与脉冲数量成正比，对数因子内最优。

ABSTRACT

This paper presents a sharp geometric analysis of the recovery performance of sparse regularization. More specifically, we analyze the BLASSO method which estimates a sparse measure (sum of Dirac masses) from randomized sub-sampled measurements. This is a "continuous", often called off-the-grid, extension of the compressed sensing problem, where the $\\ell^1$ norm is replaced by the total variation of measures. This extension is appealing from a numerical perspective because it avoids to discretize the the space by some grid. But more importantly, it makes explicit the geometry of the problem since the positions of the Diracs can now freely move over the parameter space. On a methodological level, our contribution is to propose the Fisher geodesic distance on this parameter space as the canonical metric to analyze super-resolution in a way which is invariant to reparameterization of this space. Switching to the Fisher metric allows us to take into account measurement operators which are not translation invariant, which is crucial for applications such as Laplace inversion in imaging, Gaussian mixtures estimation and training of multilayer perceptrons with one hidden layer. On a theoretical level, our main contribution shows that if the Fisher distance between spikes is larger than a Rayleigh separation constant, then the BLASSO recovers in a stable way a stream of Diracs, provided that the number of measurements is proportional (up to log factors) to the number of Diracs. We measure the stability using an optimal transport distance constructed on top of the Fisher geodesic distance. Our result is (up to log factor) sharp and does not require any randomness assumption on the amplitudes of the underlying measure. Our proof technique relies on an infinite-dimensional extension of the so-called "golfing scheme" which operates over the space of measures and is of general interest.

研究动机与目标

• 开发一种几何框架，用于分析非网格压缩感知中稀疏测度恢复的特性，且在参数空间重参数化下保持不变。
• 通过引入费雪测地距离作为度量，解决欧氏距离度量在超分辨率中应用的局限性，以规范方式衡量脉冲之间的分离。
• 在一般测量算子（包括拉普拉斯反演和神经网络训练中出现的非平移不变算子）下，建立BLASSO方法的精确恢复条件。
• 基于费雪测地度量的最优传输距离，为使用BLASSO实现稀疏测度的稳定恢复提供理论保证，且无需对振幅施加随机性假设。
• 将高尔夫球方案推广至测度的无限维空间，为连续压缩感知中的恢复分析提供新颖的证明技术。

提出的方法

• 提出费雪测地距离作为测度空间上的规范黎曼度量，以定义狄拉克脉冲之间分离的几何概念。
• 采用BLASSO公式——通过结合数据保真项与测度总变差的Tikhonov型泛函，实现连续稀疏恢复。
• 应用高尔夫球方案的无限维扩展，构建对偶证书，以证明稀疏测度的稳定恢复。
• 利用基于费雪测地度量的最优传输距离量化恢复的稳定性，确保对参数化变换的不变性。
• 通过在细网格上使用伯恩斯坦不等式推导集中不等式，并利用构造证书的利普希茨连续性将其全局扩展。
• 通过构造对偶证书建立恢复，其中证书函数在远离和靠近脉冲位置的区域分别满足点态约束和海森约束。

实验结果

研究问题

• RQ1 能否通过几何且参数化不变的度量，改善非网格压缩感知中超分辨率分析的性能？
• RQ2 使用BLASSO实现稀疏测度稳定恢复所需的最小脉冲间距是多少？其与测量算子的关系如何？
• RQ3 高尔夫球方案能否推广至测度的无限维空间，以在连续压缩感知中证明恢复保证？
• RQ4 在非平移不变测量核下，费雪测地距离如何优于欧氏距离，更准确地捕捉脉冲分离的内在几何结构？
• RQ5 使用BLASSO实现s-稀疏测度稳定恢复的最优样本复杂度是多少？其是否依赖于振幅的随机性？

主要发现

• 当任意两个脉冲位置之间的费雪测地距离超过一个类似瑞利的分离常数时，可通过BLASSO实现s-稀疏测度的稳定恢复。
• 所需测量数的规模为O(s log s)，对数因子内接近最优，且与振幅随机性无关。
• 费雪测地距离使非平移不变测量算子（如拉普拉斯反演和高斯混合估计中出现的算子）的恢复分析成为可能。
• 通过无限维高尔夫球方案构造的对偶证书，确保BLASSO解在最优传输距离下以有界误差恢复真实测度。
• 该方法对参数空间的重参数化保持不变，使其在成像和机器学习应用中更具鲁棒性和几何合理性。
• 该理论框架适用于复测度，并支持具有归一化核的一般测量算子，显著扩展了其在经典压缩感知之外的应用范围。