[论文解读] Unified Rules of Renewable Weighted Sums for Various Online Updating Estimations

Lu Lin, Weiyu Li+1 more|arXiv (Cornell University)|Aug 20, 2020

Advanced Statistical Process Monitoring参考文献 1被引用 8

一句话总结

本文提出了一种统一的框架，称为可再生加权和（RWS），用于流数据环境中的在线更新估计。通过利用累积加权更新并结合自适应距离和损失函数，RWS能够在不施加数据批次数量限制的前提下，实现一致、渐近正态且具有Oracle效率的估计器，适用于非参数、参数和半参数模型，且计算开销极低。

ABSTRACT

This paper establishes unified frameworks of renewable weighted sums (RWS) for various online updating estimations in the models with streaming data sets. The newly defined RWS lays the foundation of online updating likelihood, online updating loss function, online updating estimating equation and so on. The idea of RWS is intuitive and heuristic, and the algorithm is computationally simple. This paper chooses nonparametric model as an exemplary setting. The RWS applies to various types of nonparametric estimators, which include but are not limited to nonparametric likelihood, quasi-likelihood and least squares. Furthermore, the method and the theory can be extended into the models with both parameter and nonparametric function. The estimation consistency and asymptotic normality of the proposed renewable estimator are established, and the oracle property is obtained. Moreover, these properties are always satisfied, without any constraint on the number of data batches, which means that the new method is adaptive to the situation where streaming data sets arrive perpetually. The behavior of the method is further illustrated by various numerical examples from simulation experiments and real data analysis.

研究动机与目标

• 建立一个统一的理论框架，用于流数据模型中的在线更新估计，解决现有方法在似然函数、损失函数和估计方程方面缺乏可推广规则的问题。
• 解决现有方法中一个关键局限：为保证统计一致性，必须对数据批次数量施加严格约束（如 $k = O(n^c)$）的问题。
• 开发一种计算简单、直观且自适应的方法，适用于非参数、参数和半参数模型。
• 在一般条件下确保估计的一致性、渐近正态性和Oracle性质，即使在持续数据流环境下亦成立。
• 通过模拟和真实数据分析展示该方法的有效性，表明其性能接近Oracle估计器。

提出的方法

• 提出一种可再生加权和（RWS）框架，定义为 $\widehat{\theta}_k = \min_\theta \sum_{j=1}^{k-1} \sum_{i \in \mathbf{i}_j} J(\widehat{\theta}_j; Z_i) \|\theta - \widehat{\theta}_{k-1}\|^2 + L(\theta; \mathbf{d}_k)$，其中 $J$ 为权重函数，$L$ 为损失函数。
• 采用仅依赖于前一个估计器 $\widehat{\theta}_{k-1}$、当前数据 $\mathbf{d}_k$ 和先前批次累积权重的递归更新规则，避免存储原始历史数据。
• 建立RWS与在线更新估计方程之间的等价性，当 $U_0(u) = u$ 时，可得 $\sum_{j=1}^{k-1} \sum_{i \in \mathbf{i}_j} J(\widehat{\theta}_j; Z_i)(\theta - \widehat{\theta}_{k-1}) - U(\theta; \mathbf{d}_k) = 0$。
• 将RWS框架应用于非参数核回归，推导出一种自适应于流数据的在线带宽选择规则，实现最优性能。
• 通过 $\|\theta - \widehat{\theta}_{k-1}\|^2$ 的基于距离的正则化，稳定更新过程并确保收敛，无需重新处理全部数据。
• 通过在RWS结构中结合参数与非参数估计分量，将该方法扩展至半参数模型。

实验结果

研究问题

• RQ1 能否为在线更新估计开发一个统一的框架，使其在不同流数据模型中泛化似然函数、损失函数和估计方程？
• RQ2 RWS框架是否能在不施加数据批次数量限制的条件下，实现估计的一致性和渐近正态性？
• RQ3 在流数据条件下，RWS方法在非参数和半参数模型中是否仍保持Oracle性质？
• RQ4 在线RWS估计器在预测准确性和收敛性方面，与全数据估计器相比表现如何？
• RQ5 RWS框架是否能在不了解最终数据规模的前提下，支持非参数核回归中的自适应带宽选择？

主要发现

• 在一般正则性条件下，RWS估计器即使在数据批次数量无界增长时，仍能实现估计一致性与渐近正态性。
• 该方法实现了Oracle性质，即其性能趋近于已知完整数据流的估计器。
• 在非参数核回归中，采用顺序选择带宽的在线RWS估计器，其性能几乎与全数据N-W估计器完全一致，且随着样本量增加，预测误差比趋近于1。
• 与全数据估计器相比，基于RWS的预测误差比稳定在接近1的水平，表明仅在线处理下性能损失极小。
• 与仅基于前250个批次数据训练的局部数据N-W估计器相比，RWS方法的误差比随时间持续下降，表明在动态环境中具备更优的时效性与准确性。
• 该方法计算高效，无需存储原始历史数据，仅依赖于最后一个估计器和累积权重。