[论文解读] The Brouwer Lecture 2005: Statistical estimation with model selection

Lucien Birgé|arXiv (Cornell University)|May 8, 2006

Statistical Methods and Inference参考文献 47被引用 3

一句话总结

本文提出了一套基于模型选择的统计估计理论框架，聚焦于有限维模型（如直方图和回归模型）。该研究建立了模型选择程序的风险界，并证明当模型基于逼近性质和复杂度选择时——特别是通过基于熵的惩罚项——可实现接近最优单个模型的性能。

ABSTRACT

The purpose of this paper is to explain the interest and importance of (approximate) models and model selection in Statistics. Starting from the very elementary example of histograms we present a general notion of finite dimensional model for statistical estimation and we explain what type of risk bounds can be expected from the use of one such model. We then give the performance of suitable model selection procedures from a family of such models. We illustrate our point of view by two main examples: the choice of a partition for designing a histogram from an n-sample and the problem of variable selection in the context of Gaussian regression.

研究动机与目标

• 建立有限维模型中基于模型选择的统计估计的理论基础。
• 分析统计估计中逼近精度与模型复杂度之间的权衡。
• 证明模型选择可在多种模型（包括直方图和回归）中实现接近最优的性能。
• 通过熵和度量维数论证，将统计估计与逼近理论联系起来。
• 提供一个统一的模型选择框架，通过复杂度惩罚平衡偏差与方差。

提出的方法

• 使用有限维模型（例如分段常数函数在划分上的表示）作为未知密度的统计逼近。
• 应用风险分解概念：总风险 = 逼近误差 + 估计误差。
• 引入基于模型复杂度（维度与度量熵）的惩罚项以控制过拟合。
• 采用最小化惩罚风险准则的原则，从模型族中选择最佳模型。
• 利用逼近理论结果（例如 DeVore 和 Yu, 1990）识别在 Besov 空间中具有良好逼近性质的模型。
• 使用基于熵的复杂度度量来限制模型选择的性能，确保近似最优性。

实验结果

研究问题

• RQ1 如何使模型选择程序在有限维模型族中实现接近最优的风险性能？
• RQ2 模型复杂度（维度、熵）与统计模型中估计风险之间存在何种关系？
• RQ3 模型的逼近性质（例如规则与非规则划分）如何影响模型选择的性能？
• RQ4 在何种意义上，模型选择可实现接近模型族中最佳单个模型的性能？
• RQ5 如何系统地应用逼近理论结果，通过模型选择改进统计估计？

主要发现

• 基于惩罚风险准则的模型选择可实现接近最优的风险界，与模型族中最佳单个模型相比，仅相差常数因子。
• 模型选择的性能由逼近误差与估计误差之间的权衡决定，后者通过与模型度量熵成比例的复杂度惩罚加以控制。
• 对于具有良好逼近性质的模型族（例如非规则划分或小波基模型），惩罚项可设置为与模型维度成比例，从而确保近似最优性。
• 利用 Besov 空间中的逼近性质，可构建更丰富的模型族，显著提升估计精度，优于标准的规则划分。
• 逼近理论中的理论结果——特别是关于熵和逼近速率的结果——可直接指导最优模型选择程序的设计。
• 该框架将各种统计方法（直方图、小波阈值化、回归）统一于基于复杂度与逼近性质的共同模型选择原则之下。