[论文解读] On Bayes Risk Lower Bounds

Xi Chen, Adityanand Guntuboyina+1 more|arXiv (Cornell University)|Oct 2, 2014

Statistical Methods and Inference参考文献 54被引用 4

一句话总结

本文提出了一种通用技术，利用 f-信息量推导贝叶斯风险的紧下界，适用于任意损失函数和先验分布。该方法推广了经典结果（如 Fano 不等式），并为高维稀疏线性回归和高斯混合模型在平滑分析框架下提供了新的极小化极大下界。

ABSTRACT

This paper provides a general technique for lower bounding the Bayes risk of statistical estimation, applicable to arbitrary loss functions and arbitrary prior distributions. A lower bound on the Bayes risk not only serves as a lower bound on the minimax risk, but also characterizes the fundamental limit of any estimator given the prior knowledge. Our bounds are based on the notion of $f$-informativity, which is a function of the underlying class of probability measures and the prior. Application of our bounds requires upper bounds on the $f$-informativity, thus we derive new upper bounds on $f$-informativity which often lead to tight Bayes risk lower bounds. Our technique leads to generalizations of a variety of classical minimax bounds (e.g., generalized Fano's inequality). Our Bayes risk lower bounds can be directly applied to several concrete estimation problems, including Gaussian location models, generalized linear models, and principal component analysis for spiked covariance models. To further demonstrate the applications of our Bayes risk lower bounds to machine learning problems, we present two new theoretical results: (1) a precise characterization of the minimax risk of learning spherical Gaussian mixture models under the smoothed analysis framework, and (2) lower bounds for the Bayes risk under a natural prior for both the prediction and estimation errors for high-dimensional sparse linear regression under an improper learning setting.

研究动机与目标

• 开发一种在任意损失函数和先验分布下对贝叶斯风险进行下界估计的通用方法。
• 将经典的极小化极大界（如 Fano 不等式）推广至非均匀先验和连续参数空间。
• 刻画在存在先验知识时估计的根本极限，超越极小化极大风险的范畴。
• 将该方法应用于高维统计中的具体问题，包括稀疏线性回归和主成分分析。
• 在机器学习领域建立新的理论结果，特别是在平滑分析框架和非正规学习设置下。

提出的方法

• 该方法基于 f-信息量，即在给定先验下参数与数据之间统计依赖性的度量。
• 作者推导了 f-信息量的新上界，进而用于构建贝叶斯风险的紧下界。
• 该方法利用覆盖数和卡方散度来控制特定模型下的信息量。
• 该框架通过允许非均匀先验和任意参数与动作空间，推广了 Fano 不等式。
• 通过显式计算信息量上界，将该方法应用于高斯位置模型、广义线性模型和特征值扰动模型。
• 对于高维问题，该方法利用稀疏性约束和特征值条件，推导出非渐近下界。

实验结果

研究问题

• RQ1 能否推导出适用于任意损失函数和先验分布的贝叶斯风险通用下界？
• RQ2 如何对 f-信息量进行上界控制，以在复杂模型中获得紧的贝叶斯风险下界？
• RQ3 在自然先验下，高维稀疏线性回归的估计根本极限是什么？
• RQ4 贝叶斯风险下界与统计决策理论中的极小化极大风险和极小化极大遗憾有何关系？
• RQ5 所提出的框架能否在高斯混合学习的平滑分析模型下产生新的极小化极大下界？

主要发现

• 本文利用 f-信息量建立了贝叶斯风险的通用下界，该下界涵盖了并推广了 Fano 不等式至非均匀先验和连续空间。
• 对于高维稀疏线性回归，该方法在非正规学习设置下，结合自然先验，给出了贝叶斯风险的紧下界。
• 作者精确刻画了在平滑分析框架下学习球面对称高斯混合模型的极小化极大风险。
• 在特征值扰动模型中，证明了在稀疏特征值条件下，贝叶斯风险下界是紧的。
• 通过覆盖数对卡方信息量进行上界控制，得到了高斯位置模型的非渐近下界，形式为 $\Omega(\kappa_\ell^2 k \tau^2 / (\kappa_\ell^2 \tau^2 n + \sigma^2))$。
• 该方法表明，对于离散模型，贝叶斯风险下界至少为 $1 - \frac{I(w,\mathcal{P}) + \log 2}{\log N}$，从而将 Fano 不等式推广至非均匀先验。