[论文解读] Rates of convergence of rho-estimators for sets of densities satisfying shape constraints

Yannick Baraud, Lucien Birgé|arXiv (Cornell University)|Mar 15, 2015

Statistical Methods and Inference参考文献 19被引用 5

一句话总结

该论文为形状限制密度估计中的rho-estimator建立了精确的收敛速率，表明当真实密度接近模型中的极值点时（例如[0,1]上的递减密度），风险可显著低于极小极大界。关键结果是超极小极大行为：在非极值点的风险被限制为附近极值点的风险与到该点的平方Hellinger距离之和，利用了Baraud（2016）的精细经验过程界。

ABSTRACT

The purpose of this paper is to pursue our study of rho-estimators built from i.i.d. observations that we defined in Baraud et al. (2014). For a ρ-estimator based on some model S (which means that the estimator belongs to S) and a true distribution of the observations that also belongs to S, the risk (with squared Hellinger loss) is bounded by a quantity which can be viewed as a dimension function of the model and is often related to the "metric dimension" of this model, as defined in Birgé (2006). This is a minimax point of view and it is well-known that it is pessimistic. Typically, the bound is accurate for most points in the model but may be very pessimistic when the true distribution belongs to some specific part of it. This is the situation that we want to investigate here. For some models, like the set of decreasing densities on [0,1], there exist specific points in the model that we shall call "extremal" and for which the risk is substantially smaller than the typical risk. Moreover, the risk at a non-extremal point of the model can be bounded by the sum of the risk bound at a well-chosen extremal point plus the square of its distance to this point. This implies that if the true density is close enough to an extremal point, the risk at this point may be smaller than the minimax risk on the model and this actually remains true even if the true density does not belong to the model. The result is based on some refined bounds on the suprema of empirical processes that are established in Baraud (2016).

研究动机与目标

• 研究当真实密度接近形状限制模型中的极值点时rho-estimator的行为，此时标准极小极大界过于保守。
• 建立当真实密度接近模型中极值点时，rho-estimator的风险可显著低于极小极大风险的结论。
• 推导出一个精细的风险界，其分解为在选定良好极值点的风险与到该点的平方Hellinger距离之和，从而实现超极小极大性能。
• 展示rho-estimator在模型偏离Hellinger距离下的鲁棒性，即使真实密度位于模型之外，只要靠近一个行为良好的点，其风险仍保持较低。

提出的方法

• 使用rho-estimator在模型 $\overline{S}$ 上的极小极大风险界，其中风险受与度量熵相关的维数函数界定。
• 引入形状限制模型中极值点的概念（例如[0,1]上的递减密度），此时风险显著低于典型极小极大界。
• 建立风险分解：对模型中任意密度 $t$，有 $h^2(t, \widehat{s}) \leq R(\overline{s},n) + h^2(t, \overline{s})$，其中 $\overline{s}$ 为极值点。
• 应用Baraud（2016）中关于经验过程的精细上确界界，以控制估计器与真实密度之间的偏差。
• 对 $\sqrt{t}$ 在由模型结构定义的区间上使用分段仿射逼近，采用导数变化受控的划分方案。
• 通过偏差与复杂度之间的权衡优化逼近中的分段数量，最终得到涉及 $[\ell(I_j) R_j^2]^{\alpha}$ 项之和的界，其中 $\alpha = 1/3$ 或 $1/5$，具体取决于情形。

实验结果

研究问题

• RQ1 当真实密度接近形状限制模型中的极值点时，rho-estimator能否实现快于极小极大的收敛速率？
• RQ2 当真实密度位于模型之外但靠近模型中的极值点时，rho-estimator的风险如何变化？
• RQ3 风险对模型中最近极值点的Hellinger距离的精确依赖关系是什么？
• RQ4 rho-estimator的经验过程行为能否被足够紧密地控制，以在非i.i.d.或非正则设置下获得精确界？
• RQ5 在 $\sqrt{t}$ 的分段仿射逼近中，逼近复杂度与估计误差之间的最优权衡是什么？

主要发现

• 模型中非极值点 $t$ 处rho-estimator的风险被限制为在良好选择的极值点 $\overline{s}$ 处的风险与 $h^2(t, \overline{s})$（平方Hellinger距离）之和。
• 当真实密度 $t$ 接近极值点 $\overline{s}$ 时，rho-estimator的风险可显著低于整个模型上的极小极大风险。
• 对于[0,1]上的递减密度集合，存在极值点，其风险显著低于典型极小极大率。
• 最终风险界的形式为 $\left[\sum_{j=1}^{k} (\ell(I_j) R_j^2)^{1/3}\right]^3 / (4D^2)$，其中 $R_j = V_{I_j}((\sqrt{t})')$，显示出对导数变化的非标准依赖关系。
• 通过优化将定义域划分为 $k$ 个区间的划分方式，并控制逼近中的分段数量，该方法获得了 $\left[\sum_{j=1}^{k} (\ell(I_j)^3 R_j^2)^{1/5}\right]^5 / (16D^4)$ 阶的界，反映出偏差与复杂度之间更精细的权衡。
• 结果证实，rho-estimator对模型的小Hellinger偏离具有鲁棒性，即使真实密度不在模型中，只要靠近一个行为良好的极值点，其风险仍保持较低。