[论文解读] Nonparametric Bayesian Regression on Manifolds via Brownian Motion

Xu Wang, Gilad Lerman|arXiv (Cornell University)|Jul 24, 2015

Bayesian Methods and Mixture Models参考文献 29被引用 4

一句话总结

本文提出了一种基于紧致黎曼流形上布朗运动的非参数贝叶斯回归框架，用于流形值响应变量。该框架建立了后验一致性，并获得了 $O(n^{-1/4+\theta})$ 的收缩率（对任意 $\theta > 0$），对于连续布朗运动还提供了弱一致性，为在缺乏线性结构的场景下提供了对核方法的统计严谨替代方案。

ABSTRACT

This paper proposes a novel framework for manifold-valued regression and establishes its consistency as well as its contraction rate. It assumes a predictor with values in the interval $[0,1]$ and response with values in a compact Riemannian manifold $M$. This setting is useful for applications such as modeling dynamic scenes or shape deformations, where the visual scene or the deformed objects can be modeled by a manifold. The proposed framework is nonparametric and uses the heat kernel (and its associated Brownian motion) on manifolds as an averaging procedure. It directly generalizes the use of the Gaussian kernel (as a natural model of additive noise) in vector-valued regression problems. In order to avoid explicit dependence on estimates of the heat kernel, we follow a Bayesian setting, where Brownian motion on $M$ induces a prior distribution on the space of continuous functions $C([0,1], M)$. For the case of discretized Brownian motion, we establish the consistency of the posterior distribution in terms of the $L_{q}$ distances for any $1 \leq q < \infty$. Most importantly, we establish contraction rate of order $O(n^{-1/4+ε})$ for any fixed $ε>0$, where $n$ is the number of observations. For the continuous Brownian motion we establish weak consistency.

研究动机与目标

• 开发一种非参数贝叶斯回归框架，其中响应变量位于紧致黎曼流形上，以应对此类空间中缺乏线性结构的问题。
• 通过热核和布朗运动，将向量值回归中高斯噪声模型的应用推广至流形值响应变量。
• 在所提出的贝叶斯模型下，建立后验分布的频率学一致性与收缩率。
• 克服现有参数方法和基于核的方法的局限性，后者通常假设受限制的测地线或多项式结构，或缺乏理论上的收缩率分析。
• 提供一种统计上合理的替代方案，以替代高斯过程先验，后者在非线性流形上不适用。

提出的方法

• 该框架使用流形上的热核来建模响应分布，其对应于布朗运动的转移密度，从而在连续函数空间 $C([0,1], M)$ 上诱导先验分布。
• 通过流形上布朗运动路径的分布构建先验，其中缩放参数 $c$ 控制扩散时间，从而控制先验的平滑性。
• 对于离散化的布朗运动，先验定义在具有侧边长参数 $b_n$ 的分段测地线函数上，从而实现对函数空间的灵活逼近。
• 通过贝叶斯定理推导后验分布，其中似然函数基于热核 $p_{\tau^2}(f_0(t), x)$，用于建模观测中的噪声。
• 理论分析依赖于比较函数之间的 $L_q$ 距离与它们诱导分布之间的 $L_q$ 距离，利用流形上的几何界。
• 通过一般频率学方法建立收缩率，利用热核模型下后验的集中性质。

实验结果

研究问题

• RQ1 能否基于布朗运动作为先验，构建一种不依赖线性结构的流形值响应非参数贝叶斯回归模型？
• RQ2 该模型下后验分布的收缩率是多少？与欧几里得设定下的已知率相比如何？
• RQ3 超参数 $c$（扩散时间）和 $b_n$（侧边长）的选择如何影响估计精度与偏差-方差权衡？
• RQ4 后验在 $L_q$ 范数下（$1 \leq q < \infty$）是否一致？该结论对离散化和连续布朗运动是否均成立？
• RQ5 该框架能否扩展以实现 $L_\infty$ 收敛，或获得比 $n^{-1/4+\theta}$ 更紧的收缩率 $n^{-1/4}$？

主要发现

• 基于离散化布朗运动的后验分布，在任意 $1 \leq q < \infty$ 的 $L_q$ 范数下是一致的。
• 后验以 $O(n^{-1/4 + \theta})$ 的速率收缩至真实函数，这是首次为流形值回归建立的此类收缩率。
• 对于连续布朗运动，后验是弱一致的，表明后验分布收敛于真实函数。
• 超参数 $c$ 控制扩散时间；较小的 $c$ 会导致更平滑的估计器，但会增加偏差，尤其在离散化情况下更为明显。
• 离散化模型中的侧边长参数 $b_n$ 会影响偏差：$b_n$ 越小，偏差越低，$L_1$ 误差越小，当 $b_n$ 足够小时性能最优。
• 连续布朗运动估计器（CBM）对小 $c$ 的敏感性低于离散化版本（DBM），表明在超参数选择上具有更高的鲁棒性。