[论文解读] Revisiting Révész's stochastic approximation method for the estimation of a regression function

Abdelkader Mokkadem, Mariane Pelletier+1 more|ArXiv.org|Dec 20, 2008

Simulation Techniques and Applications参考文献 36被引用 24

一句话总结

本文重新探討 Révész 的回归函数估计算法，證明在採用平均化原則下，估計器可達成最佳的 $n^{-2/5}$ 收斂速率——與 Nadaraya-Watson 相同——同時放寬了對密度的嚴苛假設。平均化後的 Révész 估計器在收斂速率與穩健性方面均優於原方法，尤其在信賴區間估計中表現更佳。

ABSTRACT

In a pioneer work, Révész (1973) introduces the stochastic approximation method to build up a recursive kernel estimator of the regression function $x\mapsto E(Y|X=x)$. However, according to Révész (1977), his estimator has two main drawbacks: on the one hand, its convergence rate is smaller than that of the nonrecursive Nadaraya-Watson's kernel regression estimator, and, on the other hand, the required assumptions on the density of the random variable $X$ are stronger than those usually needed in the framework of regression estimation. We first come back on the study of the convergence rate of Révész's estimator. An approach in the proofs completely different from that used in Révész (1977) allows us to show that Révész's recursive estimator may reach the same optimal convergence rate as Nadaraya-Watson's estimator, but the required assumptions on the density of $X$ remain stronger than the usual ones, and this is inherent to the definition of Révész's estimator. To overcome this drawback, we introduce the averaging principle of stochastic approximation algorithms to construct the averaged Révész's regression estimator, and give its asymptotic behaviour. Our assumptions on the density of $X$ are then usual in the framework of regression estimation. We prove that the averaged Révész's regression estimator may reach the same optimal convergence rate as Nadaraya-Watson's estimator. Moreover, we show that, according to the estimation by confidence intervals point of view, it is better to use the averaged Révész's estimator rather than Nadaraya-Watson's estimator.

研究动机与目标

• 以一種與 Révész (1977) 不同的創新分析方法重述其遞迴核估計器，以實現更緊緻的收斂速率分析。
• 解決 Révész 原始估計器的兩個主要缺點：次最佳收斂速率與對設計密度 $f(x)$ 的過度強大假設。
• 將平均化原則應用於隨機近似演算法，構造出一新估計器，達成最佳收斂速率，且僅需標準密度假設。
• 比較平均化 Révész 估計器與 Nadaraya-Watson 在信賴區間估計中的表現，顯示其性能更優。

提出的方法

• 將 Révész 的遞迴估計器重寫為步長 $\gamma_n = 1/n$ 的隨機近似演算法，並使用核權重更新。
• 引入一不可觀測的近似序列 $\rho_n(x)$ 以追蹤 $r_n(x)$ 的行為，進而透過鞅技術進行漸近分析。
• 將平均化原則應用於 Révész 的估計器，構造出一新平均化估計器，以平滑遞迴路徑並改善收斂性質。
• 使用鞅差序列，並應用指數矩界以控制誤差過程的二次變異。
• 透過誤差項的均勻可積性與矩條件，以有界 $L^2$-誤差來建立收斂速率。
• 利用 $\Phi_c(\lambda) = \mathbb{E}[\exp(\lambda M) \mathbb{1}_{\{\lambda M \leq c\}}]$ 的性質，控制尾部行為，並推導誤差過程的統一界。

实验结果

研究问题

• RQ1 在不同證明技術下，Révész 的遞迴迴歸估計器是否可達成最佳的 $n^{-2/5}$ 收斂速率？
• RQ2 Révész (1977) 所要求的強大密度假設是否為遞迴估計器的本質特徵，或可予以放寬？
• RQ3 將平均化原則應用於 Révész 的演算法，是否能產生一致估計器，並具備改進的收斂速率與更少的假設？
• RQ4 在信賴區間估計方面，平均化 Révész 估計器與 Nadaraya-Watson 相較如何？
• RQ5 能否利用鞅極限定理與統一矩界，描述平均化 Révész 估計器的漸近行為？

主要发现

• 在新證明技術下，原始 Révész 估計器達成最佳的 $n^{-2/5}$ 收斂速率，與 Nadaraya-Watson 估計器相同。
• 將平均化原則應用於 Révész 估計器，產生的新估計器在標準密度假設（$f(x) > 0$）下，達成相同最佳收斂速率，解決了 Révész (1977) 的主要缺點。
• 在信賴區間估計中，平均化 Révész 估計器表現優於 Nadaraya-Watson，此點經由覆蓋性質的理論比較得以驗證。
• 證明技術依賴於以不可觀測過程 $\rho_n(x)$ 近似遞迴序列，進而可應用鞅集中不等式。
• 透過序列 $\tilde{S}_n^{(2)} \in \mathcal{GS}(s_2^*)$ 界定誤差過程，確保均勻可積性，並促成 $n^{-2/5}$ 速率的推導。
• 該方法證明，平均化 Révész 估計器在相同帶寬選擇下，其漸近分佈為常態，且變異數與 Nadaraya-Watson 估計器一致。