[论文解读] Scale-ratio Asymptotics in Nonparametric Minimax Estimation

Keisuke Yano, Fumiyasu Komaki|arXiv (Cornell University)|Sep 4, 2016

Statistical Methods and Inference被引用 1

一句话总结

该论文提出了一种贝叶斯非参数估计方法，用于在未知光滑度和半径的索博列夫椭球中估计函数，即使在缺乏这些参数先验知识的情况下，也能实现最小最大风险（minimax risk）的最优性，仅相差一个绝对常数。该方法建立了风险界，量化了光滑度与平方半径-噪声方差比的联合影响，从而在大样本下实现精确的速率最小最大适应性，并可推广至非参数回归模型。

ABSTRACT

This paper studies a Bayesian approach to non-asymptotic minimax adaptation in nonparametric estimation. Estimating an input function on the basis of output functions in a Gaussian white-noise model is discussed. The input function is assumed to be in a Sobolev ellipsoid with an unknown smoothness and an unknown radius. Our purpose in this paper is to present a Bayesian approach attaining minimaxity up to a universal constant without any knowledge regarding the smoothness and the radius. Our Bayesian approach provides not only a rate-exact minimax adaptive estimator in large sample asymptotics but also a risk bound for the Bayes estimator quantifying the effects of both the smoothness and the ratio of the squared radius to the noise variance, where the smoothness and the ratio are the key parameters to describe the minimax risk in this model. Application to non-parametric regression models is also discussed.

研究动机与目标

• 开发一种能够适应未知光滑度与非参数函数估计中椭球半径的贝叶斯估计器。
• 在缺乏光滑度或椭球半径先验知识的情况下，实现仅相差一个绝对常数的最小最大风险。
• 量化光滑度与平方半径-噪声方差比的联合效应在估计风险中的影响。
• 将该方法推广至非参数回归模型。

提出的方法

• 使用高斯白噪声模型来描述输入函数的观测机制。
• 在光滑度与半径均未知的索博列夫椭球上应用层次化贝叶斯先验。
• 推导出贝叶斯估计器的风险界，其依赖于光滑度以及平方半径与噪声方差之比。
• 采用尺度比渐近分析方法，研究估计器在样本量增大时的行为。
• 通过将先验超参数与数据驱动的尺度比相平衡，实现仅相差一个绝对常数的最小最大性。
• 通过适当的变换将回归模型与白噪声模型关联，将该框架推广至非参数回归模型。

实验结果

研究问题

• RQ1 在缺乏对索博列夫椭球光滑度与半径的了解的情况下，贝叶斯估计器能否实现仅相差一个绝对常数的最小最大风险？
• RQ2 函数的光滑度与平方半径-噪声方差比如何联合影响最小最大风险？
• RQ3 尺度比渐近分析在实现非参数估计中精确的速率最小最大适应性方面起到什么作用？
• RQ4 所提出的贝叶斯方法能否推广至具有类似风险保证的非参数回归模型？

主要发现

• 即使在缺乏光滑度或半径先验知识的情况下，贝叶斯估计器仍能实现仅相差一个绝对常数的最小最大风险。
• 推导出一个精确的风险界，明确量化了光滑度与平方半径-噪声方差比的依赖关系。
• 在大样本渐近下，该方法实现了精确的速率最小最大适应性，证实其在非渐近情形下的最优性。
• 该框架可推广至非参数回归模型，同时保持最小最大风险特性。
• 尺度比渐近分析框架有效捕捉了光滑度与信号强度在估计误差中的相互作用。
• 贝叶斯方法提供了一体化的解决方案，可同时适应未知的正则性与信号大小。