[论文解读] Uniform Consistency of the Highly Adaptive Lasso Estimator of Infinite Dimensional Parameters

Mark J. van der Laan, Aurélien Bibaut|arXiv (Cornell University)|Sep 19, 2017

Stochastic processes and financial applications参考文献 1被引用 6

一句话总结

该论文在弱连续性条件下建立了无限维参数的高斯自适应Lasso（HAL）估计量的统一一致性，扩展了其先前关于快速收敛速率的结果。HAL估计量在有界变差范数的右连续且具有有限变差的函数类上最小化经验风险，且在正则性条件下，即使在无光滑性假设（仅要求有限变差）的非参数模型中，也能一致收敛到真实参数函数。

ABSTRACT

Consider the case that we observe $n$ independent and identically distributed copies of a random variable with a probability distribution known to be an element of a specified statistical model. We are interested in estimating an infinite dimensional target parameter that minimizes the expectation of a specified loss function. In \cite{generally_efficient_TMLE} we defined an estimator that minimizes the empirical risk over all multivariate real valued cadlag functions with variation norm bounded by some constant $M$ in the parameter space, and selects $M$ with cross-validation. We referred to this estimator as the Highly-Adaptive-Lasso estimator due to the fact that the constrained can be formulated as a bound $M$ on the sum of the coefficients a linear combination of a very large number of basis functions. Specifically, in the case that the target parameter is a conditional mean, then it can be implemented with the standard LASSO regression estimator. In \cite{generally_efficient_TMLE} we proved that the HAL-estimator is consistent w.r.t. the (quadratic) loss-based dissimilarity at a rate faster than $n^{-1/2}$ (i.e., faster than $n^{-1/4}$ w.r.t. a norm), even when the parameter space is completely nonparametric. The only assumption required for this rate is that the true parameter function has a finite variation norm. The loss-based dissimilarity is often equivalent with the square of an $L^2(P_0)$-type norm. In this article, we establish that under some weak continuity condition, the HAL-estimator is also uniformly consistent.

研究动机与目标

• 在非参数统计模型中，建立高斯自适应Lasso（HAL）估计量对无限维参数的统一一致性。
• 将HAL估计量先前关于快速收敛速率的结果，扩展到在弱连续性条件下的一致收敛。
• 证明HAL估计量在真实参数的连续点处的逐点收敛，可推出一致收敛，前提是真实参数连续。
• 为HAL估计量在高维、非参数设定下，仅需最小光滑性假设时的鲁棒性和高效性，提供理论依据。

提出的方法

• HAL估计量被定义为在有界变差范数一致有界的右连续且具有有限变差的函数类上，最小化经验风险 $ P_n L( heta) $ 的解。
• 变差范数通过在坐标子集上的积分之和表示，从而可表示为指标基函数的线性展开。
• 通过在基函数系数上施加Lasso型惩罚来实现估计量，其中界 $ M $ 通过交叉验证选择，以避免对真实变差范数的先验知识。
• 通过证明估计量在真实参数的连续点处的逐点收敛，再结合真实参数的连续性与Heine定理，建立一致收敛性。
• 证明依赖于Hahn分解将测度的连续与离散部分分离，并利用基于损失的差异性收敛推导逐点收敛。
• 一个关键技术步骤是：若测度在极限的连续点处收敛，则其在总变差范数下收敛，这在极限连续时支撑了一致收敛性。

实验结果

研究问题

• RQ1 在何种条件下，HAL估计量对无限维参数具有统一一致性？
• RQ2 是否可在不假设真实参数光滑性（仅要求有限变差）的前提下，建立统一一致性？
• RQ3 HAL估计量在真实参数的连续点处的逐点收敛，如何导致一致收敛？
• RQ4 真实参数函数的连续性在确保HAL估计量一致收敛中起什么作用？
• RQ5 当参数空间为非参数类且真实函数仅有有限变差时，HAL估计量是否仍具有一致一致性？

主要发现

• 在弱连续性条件下，HAL估计量对无限维参数具有一致一致性，即使在真实参数仅具有有限变差范数的非参数模型中亦然。
• 当真实参数连续时，一致收敛可由其在连续点处的逐点收敛推出。
• 该证明利用了如下事实：若测度在极限的连续点处收敛，则当极限连续时，其在总变差范数下一致收敛，此结论基于Heine定理。
• HAL估计量在基于损失的差异性下收敛速率快于 $ n^{-1/2} $，且当真实参数连续时，该速率可导出一致一致性。
• 即使参数空间为所有有界变差范数的右连续且具有有限变差的非参数函数类，该估计量仍保持一致一致性。
• 在最小假设下结果成立：损失函数有界、真实参数具有有限变差、真实参数函数连续。