[论文解读] Statistical inference in compound functional models

Arnak S. Dalalyan, Yuri I. Ingster+1 more|arXiv (Cornell University)|Aug 31, 2012

Statistical Methods and Inference参考文献 28被引用 9

一句话总结

本文提出了一种复合函数模型，统一了稀疏加法模型与高维非参数回归，建立了依赖于三个参数（结构、微观稀疏性、光滑性）的非渐近极小极大收敛速率。证明了该最优速率可自适应达到，为在稀疏性约束下的高维非线性推断提供了理论基础。

ABSTRACT

We consider a general nonparametric regression model called the compound model. It includes, as special cases, sparse additive regression and nonparametric (or linear) regression with many covariates but possibly a small number of relevant covariates. The compound model is characterized by three main parameters: the structure parameter describing the "macroscopic" form of the compound function, the "microscopic" sparsity parameter indicating the maximal number of relevant covariates in each component and the usual smoothness parameter corresponding to the complexity of the members of the compound. We find non-asymptotic minimax rate of convergence of estimators in such a model as a function of these three parameters. We also show that this rate can be attained in an adaptive way.

研究动机与目标

• 将稀疏加法模型与高维非参数回归统一于单一理论框架之下。
• 在非渐近设定下，刻画复合函数模型的极小极大收敛速率。
• 明确估计精度对三个关键参数（结构、微观稀疏性、光滑性）的依赖关系。
• 证明所推导的极小极大速率可在不预先知晓参数值的情况下自适应实现。
• 为有限模型集合提供度量熵的精确上下界，从而支持极小极大速率的推导。

提出的方法

• 构建一种复合函数模型，其中未知函数为子集协变量上分量函数的和，通过二值指示向量施加稀疏性。
• 采用高斯白噪声模型作为非参数回归的典型等价形式，借助希尔伯特空间与高斯过程理论进行分析。
• 定义三个关键参数：结构（宏观形式）、微观稀疏性（每个分量中活跃协变量的最大数量）与光滑性（分量函数的正则性）。
• 通过组合论证与熵界，利用覆盖数与分离性论证，推导出模型类度量熵的下界。
• 通过基于索引集划分与代表性模型选取的构造方法，建立度量熵的上界。
• 将这些熵界应用于推导非渐近极小极大收敛速率，表明其随三个参数的函数形式变化。

实验结果

研究问题

• RQ1 在具有稀疏性与光滑性约束的复合函数模型中，非参数估计的最优收敛速率是什么？
• RQ2 极小极大速率如何依赖于结构、微观稀疏性与光滑性参数之间的相互作用？
• RQ3 能否在不事先知晓模型参数的情况下自适应地达到最优速率？
• RQ4 复合模型类的度量熵是多少？其如何随维度与稀疏性参数变化？
• RQ5 该类模型之间可区分性的精确阈值是什么？其与估计风险有何关联？

主要发现

• 非渐近极小极大收敛速率被表征为结构、微观稀疏性与光滑性参数的函数，精确刻画了估计难度。
• 证明了极小极大速率可自适应达到，即估计器可在不知晓真实参数值的情况下实现最优速率。
• 通过最大θ-分离集合的分离性论证，建立了模型类度量熵的下界，得到覆盖数的对数下界。
• 通过基于索引集划分与代表性模型计数的构造性论证，推导出度量熵的上界，从而得到覆盖数的紧致界。
• 熵界表明，极小极大速率随活跃分量数量、分量光滑性与协变量维度的函数形式变化。
• 结果推广并统一了稀疏加法模型与高维非参数回归的既有研究，为它们的理论分析提供了一个统一框架。