[论文解读] Optimal uncertainty bounds for multivariate kernel regression under bounded noise: A Gaussian process-based dual function

Amon Lahr, Anna Scampicchio+2 more|arXiv (Cornell University)|Mar 17, 2026

Gaussian Processes and Bayesian Inference被引用 0

一句话总结

该论文通过基于高斯过程的对偶形式为多变量核回归在高斯噪声下推导出一个紧致、无分布假设的、不确定性界限，扩展到多变量输出与椭圆形噪声。它给出一个可与下游任务结合的无约束优化框架，并在一个受四旋翼动力学启发的学习示例中演示其用法。

ABSTRACT

Non-conservative uncertainty bounds are essential for making reliable predictions about latent functions from noisy data--and thus, a key enabler for safe learning-based control. In this domain, kernel methods such as Gaussian process regression are established techniques, thanks to their inherent uncertainty quantification mechanism. Still, existing bounds either pose strong assumptions on the underlying noise distribution, are conservative, do not scale well in the multi-output case, or are difficult to integrate into downstream tasks. This paper addresses these limitations by presenting a tight, distribution-free bound for multi-output kernel-based estimates. It is obtained through an unconstrained, duality-based formulation, which shares the same structure of classic Gaussian process confidence bounds and can thus be straightforwardly integrated into downstream optimization pipelines. We show that the proposed bound generalizes many existing results and illustrate its application using an example inspired by quadrotor dynamics learning.

研究动机与目标

• 从学习驱动控制中对来自有噪声数据的潜在多变量函数进行可靠的不确定性量化的动机。
• 在有界噪声下为基于核的多变量估计提供紧致、确定性的界限，而不依赖强分布假设。
• 开发一个基于对偶性的、无约束优化形式，使其能够推广现有界限并易于与下游任务整合。
• 将之前的标量输出结果推广到多变量设定以及椭圆噪声界限的交集。
• 通过一个受四旋翼动力学学习启发的示例说明适用性。

提出的方法

• 通过基于高斯过程的对偶函数，将不确定性界限表述为无约束优化问题。
• 在由矩阵值核诱导的RKHS中表示潜在函数，并施加范数和噪声有界约束。
• 定义一个带噪声协方差K^w_sigma的测量增强后验GP，由椭圆形噪声界限构造。
• 在测试点得到方向性界限：f_h^sigma_bar(x_N+1) = h^T f_sigma^mu(x_N+1) + beta_sigma sqrt(h^T Sigma_sigma(x_N+1) h)，其中beta_sigma捕捉RKHS范数与噪声界限。
• 证明最优界限通过对噪声参数向量sigma进行最小化来获得，得到一个invex目标。
• 将界限与现有结果联系起来，并演示强对偶性/弱对偶性，证明无约束优化方法的合理性。

Figure 1: Illustrative example of proposed uncertainty bound. The top plot shows the optimal uncertainty bounds (solid), as well as the corresponding dual functions (shaded), evaluated for the optimal dual (noise) parameters $\sigma^{\star}$ at the test point $x_{N+1}=1.5$ (dotted red). The bottom t

实验结果

研究问题

• RQ1 如何在有界噪声下为多变量核回归获得紧致、无分布假设的不确定性界限？
• RQ2 基于高斯过程的对偶 formulation 是否能够在多变量设定中重现并推广现有标量输出的确定性界限？
• RQ3 如何将椭圆形噪声界限整合到可扩展的、无约束优化框架中进行不确定性量化？
• RQ4 噪声参数向量sigma在界限收紧中的作用是什么，是否可以在实际中高效地进行优化？
• RQ5 在受四旋翼控制启发的动力学学习场景中，与现有界限相比，所提出的界限表现如何？

主要发现

• 通过基于高斯过程的对偶函数获得多变量核回归的紧致、确定性不确定性界限，将先前的标量结果推广到多变量情形。
• 界限通过对噪声参数的无约束优化表示，且包含一个关于GP后验均值和协方差的闭式方向界限。
• 界限相对于噪声参数向量是invex的，在开放域内保证全局最优，并且可与下游任务进行梯度优化集成。
• 推论1给出一个椭圆不确定性界限，将潜在函数与其GP后验相关联，包含一个放缩的马氏型误差项。
• 该框架将若干现有确定性界限推广并作为特例恢复，将多项结果统一在单一的对偶性方法下。
• 在一个受四旋翼启发的数值示例中，界限能够收紧不确定性包络且计算上可行，具备加速安全学习驱动的控制与优化的潜力。

Figure 2: Proposed multivariate uncertainty bound for quadrotor example with $n_{\mathrm{data}}=10$ training points. The latent function (dashed black) is tightly bounded by the optimal uncertainty bounds evaluated for both output dimensions ( Theorem 1 ); the multivariate ellipsoidal tube is genera