[论文解读] Some new ideas in nonparametric estimation

Oleg Lepski|arXiv (Cornell University)|Mar 12, 2016

Advanced Statistical Methods and Models参考文献 2被引用 4

一句话总结

本文提出了一种新颖的数据驱动选择规则，通过共享的参数空间，将一个更简单估计问题（问题 A）的解转移到构造更复杂问题（问题 B）的自适应估计器中。核心贡献是在最小假设下，为问题 B 中所选估计器建立了一般性的Oracle不等式，从而在密度和去卷积等非参数模型中实现自适应估计。

ABSTRACT

In the framework of an abstract statistical model we discuss how to use the solution of one estimation problem ({\it Problem A}) in order to construct an estimator in another, completely different, {\it Problem B}. As a solution of {\it Problem A} we understand a data-driven selection from a given family of estimators $\mathbf{A}(\mH)=\big\{\widehat{A}_\mh, \mh\in\mH\big\}$ and establishing for the selected estimator so-called oracle inequality. %parameterized by some se t$\mH$. If $\hat{\mh}\in\mH$ is the selected parameter and $\mathbf{B}(\mH)=\big\{\widehat{B}_\mh, \mh\in\mH\big\}$ is an estimator's collection built in {\it Problem B} we suggest to use the estimator $\widehat{B}_{\hat{\mh}}$. We present very general selection rule led to selector $\hat{\mh}$ and find conditions under which the estimator $\widehat{B}_{\hat{\mh}}$ is reasonable. Our approach is illustrated by several examples related to adaptive estimation.

研究动机与目标

• 开发一个通用框架，用于复用更简单估计问题（问题 A）的解，以构造更复杂且无关的问题 B 的估计器。
• 建立在问题 A 中的数据驱动选择器可生成问题 B 中合理估计器的条件，即使两个问题在本质或损失函数上存在差异。
• 为问题 B 中所选估计器推导出一个Oracle不等式，确保其在未知底层光滑度的情况下仍具有自适应性能。
• 通过共享参数化方式，利用一个问题的解来解决另一个问题，从而统一并推广现有的自适应估计方法。
• 在密度估计和广义去卷积等非参数模型中，特别是多变量设置下，展示该方法的适用性。

提出的方法

• 引入一个统一的统计模型，通过共同的参数集 $\mathfrak{H}$ 将两个估计问题（A 和 B）关联起来，实现选择规则的转移。
• 基于问题 A 的解，提出一个数据驱动的选择器 $\hat{\mathfrak{h}}$，采用一种通用的选择规则，以最小化偏差与复杂度之间的权衡。
• 为问题 B 中的所选估计器 $\widehat{B}_{\hat{\mathfrak{h}}}$ 建立一个一般性的Oracle不等式，确保其风险在 $\mathfrak{H}$ 上的最优风险的常数倍之内。
• 使用上界函数技术和度量熵界来控制所选估计器的随机行为，特别是在多变量非参数模型中。
• 通过函数不等式将两个问题中的偏差与方差项关联起来，将该方法应用于具体模型，包括密度估计和广义去卷积。
• 利用范数等价性和杨不等式，将 $L_p$-范数的导数以原函数的光滑度表示，从而实现风险界的有效转移。

实验结果

研究问题

• RQ1 在何种条件下，可将一个更简单估计问题（问题 A）的数据驱动选择器用于构造一个完全不同的、更复杂问题（问题 B）的有效估计器？
• RQ2 问题 B 中的所选估计器 $\widehat{B}_{\hat{\mathfrak{h}}}$ 是否能获得类似于问题 A 的Oracle不等式？
• RQ3 如何利用密度估计问题的解来构建导数估计或泛函估计的自适应估计器？
• RQ4 允许从问题 A 到问题 B 的自适应性质转移的参数空间和模型结构的最小假设是什么？
• RQ5 在多变量非参数模型中，如何形式化偏差、方差与光滑度之间的相互作用，以确保在转移问题中达到最优收敛速率？

主要发现

• 所选估计器 $\widehat{B}_{\hat{\mathfrak{h}}}$ 满足如下形式的Oracle不等式：$\mathcal{R}_B[\widehat{B}_{\hat{\mathfrak{h}}}, f] \leq \inf_{\mathfrak{h} \in \mathfrak{H}} \mathcal{A}_\ell^{(n)}(f, \mathfrak{h}) + c r_n$，对所有 $f \in \mathbb{F}$ 成立，且当 $n \to \infty$ 时 $r_n \to 0$。
• 该方法在广义去卷积模型中实现了最优收敛速率 $\varphi_n^{(\mathfrak{m})}(\mathbb{N}_{p,d}(\vec{\beta}, L) \cap \mathfrak{P}_p) \asymp n^{-\frac{(1-1/\omega)(1-1/(p\wedge 2))}{1+(1/\beta)(1-1/(p\wedge 2))}}$。
• 上界函数条件 $\limsup_{n \to \infty} n^a \varkappa_n(\mathbb{F}_{\mathfrak{a}}) = 0$ 对所有 $a > 0$ 成立，足以保证Oracle不等式的有效性。
• 对于多变量密度模型，偏差项满足 $\|K_{\vec{h}} \star f - f\|_p \leq \mathbf{c}_{26} \prod_{j=1}^d h_j^{-m_j} (n \prod_{j=1}^d h_j)^{\frac{1}{p\wedge 2}-1}$，该不等式用于控制问题 B 中的风险。
• 该方法实现了自适应性能，即所选估计器 $\widehat{B}_{\hat{\mathfrak{h}}}$ 能够自动适应底层函数未知的光滑度，而无需事先知晓。
• 所推导的界是紧致的，因为在Sobolev型光滑度类下，这些界与已知的极小极大速率在 $L_p$-范数中一致。