[论文解读] On the inability of Gaussian process regression to optimally learn compositional functions

Matteo Giordano, Kolyan Ray+1 more|arXiv (Cornell University)|May 16, 2022

Gaussian Processes and Bayesian Inference被引用 7

一句话总结

该论文表明，标准高斯过程（GP）回归无法最优地学习组合函数——特别是广义可加模型——这是由于后验收缩速率存在固有局限。即使选择最优核函数，GP先验的后验收缩速率仍比极小极大最优速率慢一个关于样本量的多项式因子，而深度高斯过程则能达到极小极大速率，证明其在处理此类结构化函数时具有统计优势。

ABSTRACT

We rigorously prove that deep Gaussian process priors can outperform Gaussian process priors if the target function has a compositional structure. To this end, we study information-theoretic lower bounds for posterior contraction rates for Gaussian process regression in a continuous regression model. We show that if the true function is a generalized additive function, then the posterior based on any mean-zero Gaussian process can only recover the truth at a rate that is strictly slower than the minimax rate by a factor that is polynomially suboptimal in the sample size $n$.

研究动机与目标

• 识别标准高斯过程先验在学习组合函数时的结构性局限。
• 严格建立GP回归后验收缩速率的信息论下界。
• 证明任意均值为零的GP先验在广义可加模型中均导致次优估计速率。
• 将GP性能与深度高斯过程进行对比，后者在组合类中可实现极小极大收缩速率。
• 为在真实函数具有组合结构时使用深层先验提供理论依据。

提出的方法

• 作者在连续高斯白噪声回归模型中分析后验收缩速率，该模型等价于设计点独立同分布的非参数回归。
• 利用Karhunen-Loève展开表示GP先验，并将回归问题转化为正交基下系数的序列模型。
• 提出一种新颖的证明技术，通过基展开中后验均值的结构，直接界定GP后验均值的预测风险。
• 该方法通过利用GP协方差算子特征值的衰减特性，构造后验均值风险的下界。
• 补充材料中的第二种证明将问题简化为稀疏序列模型，推导出线性速率下界，足以在原始模型中确立次优性。
• 分析依赖Kakutani乘积鞅定理，以推导序列表示下的似然和后验分布。

实验结果

研究问题

• RQ1 标准高斯过程先验能否在广义可加模型中实现极小极大后验收缩速率？
• RQ2 GP回归是否存在根本性的统计局限，导致无法最优恢复组合函数？
• RQ3 GP先验的后验收缩速率与广义可加函数的极小极大速率相比如何？
• RQ4 深度高斯过程能否克服此局限并实现此类函数的极小极大速率？
• RQ5 GP先验的何种结构性特征导致其在组合函数类中产生次优估计速率？

主要发现

• 对于广义可加模型，任意均值为零的高斯过程先验均导致后验收缩速率比极小极大速率慢一个关于样本量n的多项式因子。
• 这种次优性源于GP先验结构本身，与协方差核的选择无关。
• GP后验均值无法达到极小极大速率，意味着后验质量的显著部分位于真实函数的极小极大$L^2$-邻域之外。
• 相比之下，深度高斯过程被证明可对任意组合类（包括广义可加模型）实现极小极大后验收缩速率。
• 本文建立了标准GP与深度GP之间的理论差距，为在贝叶斯非参数建模中对结构化函数使用更深层先验提供了理论依据。
• 结果通过一种新颖的证明技术推导得出，该技术直接界定GP后验均值的预测风险，避免依赖抽象的集中函数条件。