[论文解读] Nonparametric, Nonasymptotic Confidence Bands with Paley-Wiener Kernels for Band-Limited Functions

Balázs Csanád Csáji, Bálint Horváth|arXiv (Cornell University)|Jun 27, 2022

Control Systems and Identification参考文献 19被引用 6

一句话总结

本文提出了一种非参数、非渐近的方法，利用Paley-Wiener核构建有界、带限函数的同时置信带。该方法基于再生核希尔伯特空间理论与凸优化，从有限的独立同分布样本中推导出分布无关的置信带，在较弱的噪声假设下具有理论保证，并在无噪声和有噪声设置下通过数值实验得到验证。

ABSTRACT

The paper introduces a method to construct confidence bands for bounded, band-limited functions based on a finite sample of input-output pairs. The approach is distribution-free w.r.t. the observation noises and only the knowledge of the input distribution is assumed. It is nonparametric, that is, it does not require a parametric model of the regression function and the regions have non-asymptotic guarantees. The algorithm is based on the theory of Paley-Wiener reproducing kernel Hilbert spaces. The paper first studies the fully observable variant, when there are no noises on the observations and only the inputs are random; then it generalizes the ideas to the noisy case using gradient-perturbation methods. Finally, numerical experiments demonstrating both cases are presented.

研究动机与目标

• 开发一种非参数、非渐近的方法，用于构建回归函数的置信带，而无需假设参数模型。
• 确保在观测噪声方面具有分布无关的性能，仅需关于零对称的假设。
• 提供适用于有限样本大小的理论置信保证，而非渐近近似。
• 通过梯度扰动与区间优化技术，将方法从无噪声扩展到有噪声的观测设置。
• 通过在无噪声和拉普拉斯噪声污染数据上的数值实验，展示方法的可行性与准确性。

提出的方法

• 该方法基于Paley-Wiener再生核希尔伯特空间（RKHS），其傅里叶支撑在[−η, η]范围内，用于建模带限函数。
• 使用核函数 k(z, s) = sin(η(z−s))/(π(z−s))（当 z ≠ s 时），以及 k(z,z) = η/π 来定义RKHS结构。
• 在无噪声观测下，通过求解凸优化问题来构建置信带，利用在 d 个输入点处的函数值区间估计来约束函数范数。
• 在有噪声情况下，将函数值视为置信区间内的决策变量，并对最小值和最大值分别求解优化问题以计算置信带的端点。
• 该方法结合引理1中的范数界与并集界（Boole不等式），推导出RKHS范数的非渐近上界 τ。
• 在查询点 x₀ 处的最终置信区间通过求解涉及扩展格拉姆矩阵与范数界 τ 的凸二次规划问题来计算。

实验结果

研究问题

• RQ1 能否为带限函数构建具有有限样本、非渐近保证的非参数置信带？
• RQ2 在对称但未知的噪声分布下，如何实现分布无关的置信带，且无需假设正态分布？
• RQ3 Paley-Wiener核在实现非参数、带限函数估计并提供理论置信界方面起到什么作用？
• RQ4 如何在保持有限样本有效性的前提下，将置信带方法从无噪声扩展到有噪声的观测设置？
• RQ5 在数据有限的情况下，该方法在置信带紧致性与覆盖概率方面的实际表现如何？

主要发现

• 该方法确保真实函数位于所构建置信带内的置信水平至少为 1 − α − β，其中 α 和 β 为预设的风险水平。
• 在无噪声情况下，当 n = 10 个观测值时，即使样本量较小，该方法仍能产生具有信息量的置信带，如图1所示。
• 在有噪声情况下，当 n = 100 且 d = 20 时，该方法在 α + β = 0.1 和 0.5 的条件下保持了可靠的覆盖性能，如图2所示。
• 该置信带对尺度为 b = 0.4 的拉普拉斯噪声具有鲁棒性，表明其适用于重尾噪声模型。
• 该算法计算高效，依赖于凸优化，可使用标准二次规划求解器实现。
• d（用于范数估计的点数）的选择显著影响置信区间的紧致性，d = O(√n) 是一个实用的经验法则。