[论文解读] Optimal Bayesian estimation in random covariate design with a rescaled Gaussian process prior

Debdeep Pati, Anirban Bhattacharya+1 more|arXiv (Cornell University)|Nov 26, 2014

Gaussian Processes and Bayesian Inference参考文献 28被引用 10

一句话总结

该论文通过引入具有平方指数核的缩放高斯过程先验，在随机协变量设计下建立了非参数回归的率最优后验集中。通过根据真实函数未知的光滑度适当缩放先验，作者即使在真实函数光滑度低于解析函数时，也实现了最小最大最优收敛速率 $n^{-\alpha/(2\alpha+d)}$，并克服了先前在随机设计下贝叶斯非参数理论中的一个关键局限。

ABSTRACT

In Bayesian nonparametric models, Gaussian processes provide a popular prior choice for regression function estimation. Existing literature on the theoretical investigation of the resulting posterior distribution almost exclusively assume a fixed design for covariates. The only random design result we are aware of (van der Vaart & van Zanten, 2011) assumes the assigned Gaussian process to be supported on the smoothness class specified by the true function with probability one. This is a fairly restrictive assumption as it essentially rules out the Gaussian process prior with a squared exponential kernel when modeling rougher functions. In this article, we show that an appropriate rescaling of the above Gaussian process leads to a rate-optimal posterior distribution even when the covariates are independently realized from a known density on a compact set. The proofs are based on deriving sharp concentration inequalities for frequentist kernel estimators; the results might be of independent interest.

研究动机与目标

• 解决在随机协变量设计下高斯过程先验在贝叶斯非参数回归中缺乏理论保证的问题。
• 克服先前研究中要求真实函数以概率一属于先验所支持的光滑度类别的限制性假设。
• 在真实函数具有有限光滑度 $\alpha > 1/2$ 的情况下，建立后验分布的率最优性，即使使用平方指数核亦成立。
• 为在随机设计设定下基于集成 $L_1(q)$ 损失的后验集中建立理论框架。

提出的方法

• 引入一种缩放高斯过程先验，其样本路径由依赖于未知光滑度 $\alpha$ 和样本量 $n$ 的序列 $a_n$ 缩放。
• 使用检验函数 $\Phi_n = \mathbf{1}(\|\tilde{f}_n - f_0\|_1 > M\epsilon_n/2)$ 来区分真实函数与邻域内大小为 $\epsilon_n$ 的替代函数。
• 利用频率学核估计器的集中不等式，控制后验在集成 $L_1(q)$ 范数下的行为。
• 应用塔拉格朗不等式以界定检验函数构造中误差项的方差，确保后验集中的所需尾部界限。
• 通过验证关键条件：(PCS)、(BT)、(DT)、(BS)、(DS) 和 (PCN)，利用缩放先验和设计密度 $q$ 的性质，建立后验集中。
• 通过有界后验概率的补集邻域，利用似然比和先验集中性质，推导后验收敛速率。

实验结果

研究问题

• RQ1 标准平方指数核高斯过程先验是否能在随机协变量设计下的非参数回归中实现率最优的后验集中？
• RQ2 当真实函数具有有限光滑度 $\alpha > 1/2$ 时，为实现最小最大最优速率 $n^{-\alpha/(2\alpha+d)}$，对先验缩放需满足何种条件？
• RQ3 如何在集成 $L_1(q)$ 损失下建立后验集中，该损失比经验 $L_2$ 范数更适用于样本外预测？
• RQ4 是否可能在不强制要求先验将概率一赋予真实光滑度类别的前提下，实现最优后验速率？

主要发现

• 在随机设计下，后验分布基于集成 $L_1(q)$ 损失实现了最小最大最优速率 $n^{-\alpha/(2\alpha+d)}$，仅相差对数因子。
• 具有依赖于 $n$ 和 $\alpha$ 的缩放参数 $a_n$ 的缩放高斯过程先验，即使在 $\alpha$-光滑函数情况下，也能实现率最优性，而标准先验则会失效。
• 该方法避免了 van der Vaart 与 van Zanten (2011) 的限制性假设，即先验必须以概率一赋予真实光滑度类别，该假设排除了对粗糙函数使用平方指数核的可能性。
• 证明依赖于频率学核估计器的精确集中不等式，这些不等式本身在主结果之外也具有独立兴趣。
• 通过检验函数和似然比论证建立后验集中，边界通过塔拉格朗不等式和先验集中性质推导得出。
• 该方法在 $L_1(q)$ 损失下实现了最优速率，该损失更适用于随机设计下的预测性能，而不同于固定设计中使用的经验 $L_2$ 范数。