[论文解读] Optimal sampling rates for approximating analytic functions from pointwise samples

Ben Adcock, Rodrigo B. Platte+1 more|arXiv (Cornell University)|Oct 15, 2016

Statistical and numerical algorithms参考文献 24被引用 4

一句话总结

本论文通过广义不可能性定理，建立了从非等距采样点对解析函数进行稳定逼近的最优采样率。通过将 Coppersmith 与 Rivlin 的多项式极值界推广至任意节点分布，并将其应用于改进的雅可比加权网格，作者证明了在稳定逼近下最优收敛率为子几何级，指数为 $\nu = \frac{1}{2(\gamma+1)}$，其中 $\gamma = \max\{\alpha,\beta, -1/2\}$，且更快的收敛率意味着指数级病态性。

ABSTRACT

We consider the problem of approximating an analytic function on a compact interval from its values at $M+1$ distinct points. When the points are equispaced, a recent result (the so-called impossibility theorem) has shown that the best possible convergence rate of a stable method is root-exponential in $M$, and that any method with faster exponential convergence must also be exponentially ill-conditioned at a certain rate. This result hinges on a classical theorem of Coppersmith & Rivlin concerning the maximal behaviour of polynomials bounded on an equispaced grid. In this paper, we first generalize this theorem to arbitrary point distributions. We then present an extension of the impossibility theorem valid for general nonequispaced points, and apply it to the case of points that are equidistributed with respect to (modified) Jacobi weight functions. This leads to a necessary sampling rate for stable approximation from such points. We prove that this rate is also sufficient, and therefore exactly quantify (up to constants) the precise sampling rate for approximating analytic functions from such node distributions with stable methods. Numerical results -- based on computing the maximal polynomial via a variant of the classical Remez algorithm -- confirm our main theorems. Finally, we discuss the implications of our results for polynomial least-squares approximations. In particular, we theoretically confirm the well-known heuristic that stable least-squares approximation using polynomials of degree $N < M$ is possible only once $M$ is sufficiently large for there to be a subset of $N$ of the nodes that mimic the behaviour of the $N$th set of Chebyshev nodes.

研究动机与目标

• 确定从任意点采样对解析函数进行稳定逼近的根本极限。
• 将 Adcock 与 Platte（2016）的等距不可能性定理推广至非等距网格。
• 刻画在改进的雅可比节点分布上，多项式逼近的收敛率与病态性之间的精确权衡。
• 证明在这些约束下，多项式最小二乘法为最优，采样率 $M \asymp N^{2(\gamma+1)}$。

提出的方法

• 通过变分公式将经典的 Coppersmith 与 Rivlin 关于多项式上确界范数的下界估计推广至任意点集。
• 推导出一个抽象的不可能性定理，将任意节点分布下的收敛率与条件数联系起来。
• 将结果特化至与改进的雅可比权函数 $\mu(x) = g(x)(1-x)^\alpha(1+x)^\beta$ 等距分布的节点，其中 $g(x)$ 有正下界与上界。
• 使用 Remez 算法的变体数值计算最大多项式并验证理论边界。
• 分析离散最小二乘拟合的条件数，并将其与极值多项式范数联系起来。
• 证明所推导的采样率对稳定且最优的收敛性而言既必要又充分。

实验结果

研究问题

• RQ1 当从非等距采样点逼近解析函数时，稳定数值方法所能实现的最佳收敛率是什么？
• RQ2 在具有端点聚类的网格上，稳定逼近的采样率 $M$ 与多项式次数 $N$ 之间有何关系？
• RQ3 对于此类网格，指数收敛与指数病态性之间的权衡是什么？
• RQ4 在这些节点分布下，多项式最小二乘法在稳定性和收敛性方面是否最优？
• RQ5 理论采样率是否既能保证必要性又能保证充分性，以实现稳定逼近？

主要发现

• 对于与改进的雅可比权函数 $\mu(x) = g(x)(1-x)^\alpha(1+x)^\beta$ 等距分布的节点，其中 $\gamma = \max\{\alpha,\beta, -1/2\}$，稳定方法所能达到的最佳收敛率为子几何级，指数为 $\nu = \frac{1}{2(\gamma+1)}$，即误差以 $\mathcal{O}(\rho^{-M^\nu})$ 的形式衰减，其中 $\rho > 1$。
• 任何实现几何收敛（即 $\mathcal{O}(\rho^{-M})$）的方法，当 $\gamma > -1/2$ 时，其条件数在 $M$ 上呈指数级增长。
• 采样率 $M \asymp N^{2(\gamma+1)}$ 对于使用 $M+1$ 个节点的 $N$ 次多项式最小二乘逼近而言，既必要又充分。
• 使用 Remez 型算法的数值实验验证了最大多项式范数的理论边界。
• 离散最小二乘拟合的条件数在渐近意义上（相差 $\sqrt{M}$ 因子）等价于极值多项式的上确界范数，从而将稳定性与广义的 Coppersmith-Rivlin 界联系起来。
• 对于 $-1 < \gamma < -1/2$，数值证据表明当 $M = cN$ 且 $c$ 较小时，极值范数出现指数级爆炸，尽管该结论尚未被证明。