[论文解读] Uncertainty Principle and Sparse Reconstruction in Pairs of Orthonormal Rational Function Bases

Dan Xiong, Li Chai+1 more|arXiv (Cornell University)|Dec 8, 2017

Image and Signal Denoising Methods参考文献 37被引用 4

一句话总结

本文在无限维函数空间中建立了正交有理函数基对的不确定性原理，证明了有理传递函数稀疏表示的唯一性。研究表明，当测量数超过由互相关性和稀疏性约束导出的界限时，通过在单位圆上进行随机频域采样，ℓ₁-最小化可高概率恢复稀疏系数向量。

ABSTRACT

Most rational systems can be described in terms of orthonormal basis functions. This paper considers the reconstruction of a sparse coefficient vector for a rational transfer function under a pair of orthonormal rational function bases and from a limited number of linear frequency-domain measurements. We prove the uncertainty principle concerning pairs of compressible representation of orthonormal rational functions in the infinite dimensional function space. The uniqueness of compressible representation using such pairs is provided as a direct consequence of uncertainty principle. The bound of the number of measurements which guarantees the replacement of 1_0 optimization searching for the unique sparse reconstruction by 1_1 optimization using random sampling on the unit circle with high probability is provided as well.

研究动机与目标

• 在无限维空间中建立有理函数基对的可压缩表示的不确定性原理。
• 证明使用此类基对表示有理传递函数时，稀疏系数向量的唯一性。
• 推导出通过ℓ₁-优化以高概率保证精确恢复所需的随机频域测量数的界限。
• 将压缩感知理论扩展至以正交有理函数基表示的有理系统。

提出的方法

• 在L²型函数空间中形式化正交有理函数基对的不确定性原理，将有限维结果推广至无限维情形。
• 使用互相关性 $M = \sup_{i,j} |\langle \phi_i, \psi_j \rangle|$ 作为基对非相干性的度量，以界定唯一恢复的稀疏度水平。
• 在单位圆上应用随机采样以建模频域测量，利用随机矩阵的集中不等式。
• 通过尾部不等式（如Hoeffding不等式）和矩阵偏离界限推导重构误差的概率界限。
• 通过ℓ₁-最小化引入对偶证书框架，以验证稀疏解的唯一性。
• 采用一系列概率引理，以有界共支撑上对偶证书范数的上确界，确保以高概率实现精确恢复。

实验结果

研究问题

• RQ1 不确定性原理能否从有限维向由正交有理函数基张成的无限维函数空间扩展？
• RQ2 在使用两组正交有理函数基时，有理传递函数的稀疏表示在何种条件下是唯一的？
• RQ3 通过ℓ₁-优化以高概率恢复稀疏系数向量，所需的最少随机频域测量数是多少？
• RQ4 两组正交有理函数基之间的互相关性如何影响唯一恢复的稀疏度阈值？
• RQ5 在随机采样下，ℓ₁-最小化能否可靠替代ℓ₀-最小化以实现有理系统中稀疏重构？

主要发现

• 正交有理函数基对的不确定性原理确保：不存在非零信号能同时在两个基中稀疏，其界限为 $\|\alpha\|_0 + \|\beta\|_0 \geq 1 + M^{-1}$，其中 $M$ 为基元素之间最大互相关。
• 本文证明：当测量数满足 $m \geq C \cdot \mu(\Phi,\Psi)^2 \cdot |T| \cdot \log(n_1 + n_2)$ 时，ℓ₁-最小化以高概率恢复唯一稀疏解，其中 $\mu(\Phi,\Psi)$ 为互相关性，$|T|$ 为稀疏度水平。
• 恢复概率满足 $P(\text{sup}_{t \in T^c} |\pi(t)| \geq 1) \leq 2(n_1+n_2)e^{-1/(2\lambda^2)} + 3(n_1+n_2)e^{-\gamma a^2} + P(\|\cdot\| \leq (1/2 + \|F-I\|)m)$，表明恢复失败率呈指数衰减。
• 所需测量界限依赖于 $\bar{\sigma}^2 = \max\{2m\mu_M^2, \sqrt{m}|T|\mu_M^3\}$，且通过选择满足 $a \leq \min\{\sqrt{2m}/(\sqrt{|T|}\mu_M), (m/\mu_M^2)^{1/4}\}$ 的 $a$ 来控制失败概率。
• 分析表明：在稀疏度水平低于 $1/M$ 的前提下，ℓ₁-优化可在随机采样下以高概率可靠替代ℓ₀-优化，用于有理系统稀疏识别。
• 结果将有限维压缩感知界限推广至无限维有理函数系统，为从有限频域数据中实现稀疏有理系统识别提供了理论保证。