[论文解读] On rate optimal local estimation in nonparametric instrumental regression

Christoph Breunig, Jan Johannes|ArXiv.org|Feb 12, 2009

Statistical Methods and Inference参考文献 39被引用 4

一句话总结

本文通过结合降维与阈值化，提出了一种在非参数工具变量回归中对线性泛函进行速率最优的局部估计方法。在结构函数与泛函表示器的椭球光滑性假设下，建立了极小极大最优收敛速率，当满足经典Sobolev型光滑性条件时，可达到参数速率。

ABSTRACT

We consider the problem of estimating the value of a linear functional in nonparametric instrumental regression, where in the presence of an instrument W a response Y is modeled in dependence of an endogenous explanatory variable Z. The proposed estimator is based on dimension reduction and additional thresholding. The minimax optimal rate of convergence of the estimator is derived assuming that the structural function and the representer of the linear functional belong to some ellipsoids which are in a certain sense linked to the conditional expectation operator of Z given W. We illustrate these results by considering classical smoothness assumptions.

研究动机与目标

• 为解决非参数工具变量回归中固有的不适定逆问题，其中结构函数φ的直接估计因收敛速率较差而受限。
• 探究尽管模型具有不适定性，线性泛函ℓh(φ) = E[h(Z)φ(Z)]的取值是否能以更快的参数速率进行估计。
• 在φ与泛函表示器h的光滑性约束下，推导ℓh(φ)估计的极小极大最优收敛速率。
• 通过在经典光滑性假设下推导匹配的上下界，建立所提估计量的理论最优性。

提出的方法

• 提出两阶段估计量：首先将结构函数φ投影到由m个基函数e1,…,em张成的有限维子空间上，将无限维问题转化为有限维问题。
• 利用条件矩约束E[Y|W] = E[φ(Z)|W]，通过Galerkin型方法估计φ在基展开中的系数。
• 对估计的系数应用阈值化以稳定解并控制逆问题的条件数。
• 采用基于偏差与方差权衡的数据驱动方法选择维度m，从而实现最优收敛速率。
• 通过分析条件数学期望算子E[Z|W]的特征结构推导极小极大风险，将φ与h的光滑性与特征值的衰减联系起来。
• 使用集中不等式（Bernstein型）控制高维设定下经验矩与其期望的偏离。

实验结果

研究问题

• RQ1 尽管逆问题具有不适定性，在非参数工具变量回归中，线性泛函ℓh(φ)的取值是否能以参数速率进行估计？
• RQ2 当φ与h属于与条件数学期望算子E[Z|W]相关的椭球时，ℓh(φ)估计的极小极大最优收敛速率是什么？
• RQ3 经典光滑性假设（如Sobolev空间）如何影响局部估计的可达收敛速率？
• RQ4 所提估计量是否速率最优？在标准光滑性条件下能否建立匹配的上下界？
• RQ5 工具变量的光滑性以及条件数学期望算子的特征结构对估计速率有何影响？

主要发现

• 所提估计量实现了ℓh(φ)估计的极小极大最优收敛速率，该速率取决于φ与h的光滑性，其度量方式为Sobolev型椭球。
• 在特征值多项式衰减（γj ∼ j²ᵖ）条件下，最优速率为n⁻⁽ᵖ⁺ˢ⁾⁄⁽ᵖ⁺ᵃ⁾，其中a控制工具变量强度，s衡量表示器h的光滑性。
• 在特征值指数衰减（γj ∼ exp(j²ᵃ)）条件下，最优速率为(log n)⁽ᵖ⁻ˢ⁾⁄ᵃ，反映了在超光滑工具变量下的对数收敛特性。
• 最优维度m*在多项式情形下自适应选择为m* ∼ n¹⁄⁽²ᵖ⁺²ᵃ⁾，在指数情形下为m* ∼ (log n)¹⁄⁽2ᵃ⁾，以平衡偏差与方差。
• 均方误差的上界与在标准光滑性假设下推导的下界匹配，证实了估计量的速率最优性。
• 当结构函数φ与表示器h相对于工具变量的光滑性足够光滑时，即使φ本身无法以该速率估计，该方法仍能实现参数速率。