[论文解读] Worst-case recovery guarantees for least squares approximation using random samples

Lutz Kämmerer, Tino Ullrich+1 more|arXiv (Cornell University)|Nov 22, 2019

Mathematical Approximation and Integration被引用 5

一句话总结

本文为在再生核希尔伯特空间中，从随机采样点对复值函数进行最小二乘逼近提供了显式的最坏情况恢复保证。通过使用根据嵌入算子谱特性定制的概率测度生成的随机采样节点，并利用嵌入算子的奇异向量，作者推导出具有可控失败概率的高概率误差界，实现了双曲傅里叶回归与小波回归的近最优收敛速率，并表明使用最优权重的普通随机采样可与准蒙特卡洛方法相媲美。

ABSTRACT

We construct a least squares approximation method for the recovery of complex-valued functions from a reproducing kernel Hilbert space on $D \\subset \\mathbb{R}^d$. The nodes are drawn at random for the whole class of functions and the error is measured in $L_2(D,\\varrho_D)$. We prove worst-case recovery guarantees by explicitly controlling all the involved constants. This leads to new preasymptotic recovery bounds with high probability for the error of Hyperbolic Fourier Regression on multivariate data. In addition, we further investigate its counterpart Hyperbolic Wavelet Regression also based on least-squares to recover non-periodic functions from random samples. Finally, we reconsider the analysis of a cubature method based on plain random points with optimal weights and reveal near-optimal worst-case error bounds with high probability. It turns out that this simple method can compete with the quasi-Monte Carlo methods in the literature which are based on lattices and digital nets.

研究动机与目标

• 为在再生核希尔伯特空间中从随机采样点进行最小二乘逼近建立严格的最坏情况恢复误差界。
• 提供对恢复误差的高概率保证，显式控制失败概率。
• 在较弱假设下扩展并改进先前的采样恢复结果，提供实用的参数选择方法。
• 证明使用最优权重的普通随机采样可实现近最优的最坏情况误差界，与先进的准蒙特卡洛方法相竞争。

提出的方法

• 恢复算子被构造为在从H(K)到L²(D, ̺D)的嵌入算子的前m−1个右奇异向量张成的空间中的最小二乘拟合。
• 采样节点独立同分布地从针对嵌入算子谱特性定制的概率测度̺D中抽取，采用改进的重要性采样策略以提升性能。
• 关键量N(m) = sup_x ∑_{k=1}^{m-1} σ_k^{-2} |e_k(x)|²被用于控制采样复杂度与误差界。
• 通过浓度不等式推导出高概率误差界，表明最坏情况误差以O(σ_m² + log(8n)/n)为界，失败概率≤3δ。
• 该方法适用于周期性（傅里叶）与非周期性（切比雪夫小波）情形，包括使用LSQR求解数值问题。
• 通过高维测试函数上的数值实验验证了理论边界的准确性，比较了采样误差与逼近误差。

实验结果

研究问题

• RQ1 能否为使用随机采样且失败概率可控的最小二乘逼近推导出显式的最坏情况恢复误差界？
• RQ2 误差界如何依赖于嵌入算子的谱特性，特别是奇异值与特征函数？
• RQ3 使用最优权重的普通随机采样能否实现与结构化准蒙特卡洛方法相当的近最优最坏情况误差界？
• RQ4 重要性采样在提升非均匀分布函数恢复性能方面起什么作用？
• RQ5 理论预渐近边界在高维空间中对非周期性函数是否在实践中成立？

主要发现

• 本文建立了高概率最坏情况误差界：P(sup_||f||_H(K)≤1 ||f - S_X^m f||_L²² ≤ 29δ · max{σ_m², log(8n)/n · T(m)}) ≥ 1−3δ，其中T(m) = sup_x ∑_{k≥m} |e_k(x)|²。
• 当N(m) ∈ O(m)时，误差界以O(δ⁻¹ · m⁻¹ ∑_{k≥m/2} σ_k²)的速率衰减，达到近最优收敛速率。
• 在[−1,1]^d上使用切比雪夫测度的非周期情形中，数值实验表明采样误差与逼近误差均以n⁻¹·⁵(log n)^d·¹·⁵的速率衰减，与理论预测一致。
• 由恢复逼近得到的积分误差以n⁻²(log n)^d·²的速率衰减，优于采样误差率，证实了该方法在积分计算中的有效性。
• 采用普通随机采样与最优权重的方法可实现近最优的最坏情况误差界，与基于格点与数字网的准蒙特卡洛方法相竞争。
• 理论预渐近边界[32]与(8.5)在切比雪夫情形下强烈预期成立，数值证据支持该结论。