[论文解读] Sampling numbers of smoothness classes via $\ell^1$-minimization

Thomas Jahn, Tino Ullrich+1 more|arXiv (Cornell University)|Dec 1, 2022

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

该论文通过使用函数值的 $β^1$-最小化（基追踪去噪）方法，为 $L^2$ 中光滑性类的采样数建立了新的上界。结果表明，通过 $β^1$-最小化实现的非线性恢复方法相比线性方法具有显著更快的收敛速率——在加权Wiener空间中可获得高达 $m^{-1/2}$ 的增益，在拟巴拿赫空间情况下可实现任意多项式加速，尤其在高维混合光滑性Sobolev空间（当 $1 < p < 2$ 且 $d$ 较大时）于 $d$-环面上表现突出。

ABSTRACT

Using techniques developed recently in the field of compressed sensing we prove new upper bounds for general (nonlinear) sampling numbers of (quasi-)Banach smoothness spaces in $L^2$. In particular, we show that in relevant cases such as mixed and isotropic weighted Wiener classes or Sobolev spaces with mixed smoothness, sampling numbers in $L^2$ can be upper bounded by best $n$-term trigonometric widths in $L^\infty$. We describe a recovery procedure from $m$ function values based on $\ell^1$-minimization (basis pursuit denoising). With this method, a significant gain in the rate of convergence compared to recently developed linear recovery methods is achieved. In this deterministic worst-case setting we see an additional speed-up of $m^{-1/2}$ (up to log factors) compared to linear methods in case of weighted Wiener spaces. For their quasi-Banach counterparts even arbitrary polynomial speed-up is possible. Surprisingly, our approach allows to recover mixed smoothness Sobolev functions belonging to $S^r_pW(\mathbb{T}^d)$ on the $d$-torus with a logarithmically better rate of convergence than any linear method can achieve when $1 &lt; p &lt; 2$ and $d$ is large. This effect is not present for isotropic Sobolev spaces.

研究动机与目标

• 通过开发一种可构造、可实现的多元函数恢复方法，弥合线性与非线性采样恢复之间的差距。
• 分析 $β^1$-最小化在 $L^2$ 中光滑性类采样数背景下的性能表现。
• 建立 $L^2$ 恢复误差与 $L^\infty$ 中最佳 $n$-项三角逼近之间定量关系的边界。
• 证明通过 $β^1$-最小化实现的非线性恢复方法可优于线性方法，尤其在高维混合光滑性设置下。
• 提供一种确定性、可构造的恢复过程，具备可证明的收敛速率，避免使用非构造性子采样策略。

提出的方法

• 以 $m$ 个函数值为基础，使用 $β^1$-最小化（基追踪去噪）作为恢复算子。
• 应用有界正交系的最新受限等距性（RIP）结果，以确保稳定恢复。
• 依赖压缩感知中的噪声感知保证，以控制 $L^2$ 中的恢复误差。
• 通过多元三角系将 $L^2$ 恢复误差与 $L^\infty$ 中的最佳 $n$-项逼近误差联系起来。
• 在基追踪去噪程序中采用参数选择策略，以确保接近最优的 $n$-项逼近恢复。
• 推导出涉及 $m \approx C d \log(d+1) n \log(n+1)^2 \log(M)$ 测量值的采样数上界，误差由 $\widetilde{C}(\sigma_n(\mathcal{F};\mathcal{T}^d)_{L^\infty} + E_{[-M,M]^d \cap \mathbb{Z}^d}(\mathcal{F};\mathcal{T}^d)_{L^\infty})$ 限定。

实验结果

研究问题

• RQ1 对于 $L^2$ 中的光滑性类，$β^1$-最小化能否实现优于线性采样恢复的收敛速率？
• RQ2 在 $L^2$ 中的采样数与 $L^\infty$ 中最佳 $n$-项三角逼近之间存在何种关系？
• RQ3 在高维混合光滑性设置下，通过 $β^1$-最小化实现的非线性恢复是否能实现对线性方法的速度提升？
• RQ4 该方法在拟巴拿赫空间中能否实现任意多项式加速？
• RQ5 该恢复过程是否具有构造性且可实现，避免使用非构造性子采样策略？

主要发现

• 采样数 $\varrho_m(\mathcal{F})_{L^2}$ 的上界为最佳 $n$-项 $L^\infty$ 三角逼近误差 $\sigma_n(\mathcal{F};\mathcal{T}^d)_{L^\infty}$ 的常数倍，其中测量数满足 $m \approx C d \log(d+1) n \log(n+1)^2 \log(M)$。
• 在加权Wiener空间中，与线性方法相比，该方法在收敛速率上额外获得了 $m^{-1/2}$ 的增益（忽略对数因子）。
• 在加权Wiener空间的拟巴拿赫对应空间中，可实现对线性方法的任意多项式加速。
• 对于混合光滑性Sobolev空间 $S^r_p(\mathbb{T}^d)$（当 $1 < p < 2$ 且 $d$ 较大时），该方法的收敛速率比任何线性方法更优，且为对数级提升。
• 在各向同性Sobolev空间中，该收敛速率增益并不成立，凸显了混合光滑性与维度的关键作用。
• 该恢复方法具有构造性，避免了非构造性子采样策略，转而依赖具有可证明保证的凸优化。