[论文解读] The M-estimator in a multi-phase random nonlinear model

Gabriela Ciuperca|ArXiv.org|Jun 1, 2007

Statistical Methods and Inference参考文献 16被引用 3

一句话总结

本文研究在随机设计下具有多个未知变点的非线性回归模型的M估计，建立了参数估计量的一致性和渐近正态性。变点估计量以 $ n^{-1} $ 速率收敛至独立复合泊松过程的最小极小化点，适用于广泛的误差分布类，扩展了以往关于线性和单变点模型的结果。

ABSTRACT

This paper considers M-estimation of a nonlinear regression model with multiple change-points occuring at unknown times. The multi-phase random design regression model, discontinuous in each change-point, have an arbitrary error $ε$. In the case when the number of jumps is known, the M-estimator of locations of breaks and of regression parameters are studied. These estimators are consistent and the distribution of the regression parameter estimators is Gaussian. The estimator of each change-point converges, with the rate $n^{-1}$, to the smallest minimizer of the independent compound Poisson processes. The results are valid for a large class of error distributions.

研究动机与目标

• 将M估计推广至具有多个未知变点的非线性多阶段随机设计回归模型。
• 建立回归参数和变点的M估计量的一致性和渐近分布。
• 将现有关于多 regimes 模型中最小二乘和最大似然估计的结果推广至稳健的M估计框架。
• 分析在一般误差分布下变点估计量的收敛速率和极限分布。
• 通过重新处理非线性与随机设计下的导数相关论证，将线性模型的证明技术适应至非线性设置。

提出的方法

• 构建一个包含 $ K $ 个未知变点 $ \tau_k $ 的多阶段非线性回归模型，其中回归函数 $ f_\theta(x) $ 使用非线性函数 $ h_{\alpha_k}(x) $ 分段定义。
• 通过在观测残差 $ Y_i - f_\theta(X_i) $ 上最小化鲁棒损失函数 $ \psi(\varepsilon_i) $ 来定义M估计量，其中 $ \psi $ 满足标准的Huber型条件。
• 在 $ \psi $、$ h_\alpha $ 和误差分布的正则性条件下，证明回归参数 $ \theta_1 $ 和变点 $ \theta_2 $ 的M估计量 $ \hat{\theta}_n = (\hat{\theta}_{1n}, \hat{\theta}_{2n}) $ 的一致性。
• 推导回归参数估计量 $ \hat{\theta}_{1n} $ 的渐近分布，表明其在弱矩和光滑性条件下渐近服从正态分布。
• 分析变点估计量 $ \hat{\theta}_{2n} $，证明 $ n(\hat{\theta}_{2n} - \theta^0_2) $ 弱收敛至独立复合泊松过程的最小极小化点。
• 基于真实参数附近的估计函数局部展开，依赖于 $ \partial h_\alpha / \partial \alpha $ 和 $ \psi $-函数的导数有界性与矩条件。

实验结果

研究问题

• RQ1 在随机设计下，具有多个未知变点的多阶段非线性回归模型中，M估计的行为如何？
• RQ2 M估计量在回归参数和变点上的相合性与渐近分布性质是什么？
• RQ3 变点估计量的收敛速率是多少？其极限分布是什么？
• RQ4 这些结果如何推广先前关于类似模型中最小二乘和最大似然估计的工作？
• RQ5 线性模型的渐近理论能否被适应至具有随机设计和一般误差分布的非线性模型？

主要发现

• 在正则性条件下，回归参数估计量 $ \hat{\theta}_{1n} $ 是一致的且渐近服从正态分布。
• 变点估计量 $ \hat{\theta}_{2n} $ 以 $ n^{-1} $ 速率收敛，且 $ n(\hat{\theta}_{2n} - \theta^0_2) $ 弱收敛至独立复合泊松过程的最小极小化点。
• 回归参数估计量的渐近分布为多元正态分布，其极限协方差矩阵由设计和误差分布决定。
• 由于变点处的不连续性，变点估计的收敛速率 $ n^{-1} $ 比 i.i.d. 设置下的典型 $ n^{-1/2} $ 速率更快。
• 只要误差密度为正且绝对连续，该结果适用于广泛的误差分布类，包括重尾分布。
• 证明技术通过控制 $ \partial h_\alpha / \partial \alpha $ 的行为并使用 $ \psi $-函数的矩界，将线性模型中的基于导数的展开方法适应至非线性设置。