[论文解读] Quantile Regression Under Memory Constraint

Xi Chen, Weidong Liu+1 more|RePEc: Research Papers in Economics|Oct 18, 2018

Statistical Methods and Inference被引用 4

一句话总结

该论文提出了一种在内存受限条件下计算高效的分位数回归方法，其中仅能存储少量数据（大小为 m）。该方法通过从一个小批量数据的初始估计器出发，经由多轮迭代精炼，结合多次聚合过程，在样本量 n 随 m 多项式增长且维度 p 增加的情况下，仅需少数轮次即可实现渐近正态性和完全效率。

ABSTRACT

This paper studies the inference problem in quantile regression (QR) for a large sample size $n$ but under a limited memory constraint, where the memory can only store a small batch of data of size $m$. A natural method is the naïve divide-and-conquer approach, which splits data into batches of size $m$, computes the local QR estimator for each batch, and then aggregates the estimators via averaging. However, this method only works when $n=o(m^2)$ and is computationally expensive. This paper proposes a computationally efficient method, which only requires an initial QR estimator on a small batch of data and then successively refines the estimator via multiple rounds of aggregations. Theoretically, as long as $n$ grows polynomially in $m$, we establish the asymptotic normality for the obtained estimator and show that our estimator with only a few rounds of aggregations achieves the same efficiency as the QR estimator computed on all the data. Moreover, our result allows the case that the dimensionality $p$ goes to infinity. The proposed method can also be applied to address the QR problem under distributed computing environment (e.g., in a large-scale sensor network) or for real-time streaming data.

研究动机与目标

• 解决在仅能存储大小为 m 的小批量数据时，对大规模数据集进行分位数回归的挑战。
• 克服朴素的分治方法的局限性，该方法效率低下，且仅在 n=o(m²) 时有效。
• 开发一种在严格内存约束下仍保持统计效率的方法。
• 实现在维度 p 可趋于无穷的高维设置下的推断。
• 支持在分布式计算和实时流式数据环境中的应用。

提出的方法

• 提出一种迭代聚合框架，从单个小批量估计器开始，通过多轮迭代进行精炼。
• 通过连续多轮聚合更新估计器，利用各批次的局部 QR 估计，并通过加权平均进行组合。
• 引入一种递归精炼机制，在不存储全部数据的前提下提升估计器的准确性。
• 该方法依赖于初始估计器的渐近正态性，并通过迭代校正传播效率。
• 理论分析表明，最终估计器的渐近方差与全数据 QR 估计器相同。
• 模拟结果验证了该方法对异方差和重尾误差的鲁棒性。

实验结果

研究问题

• RQ1 在仅能存储 m 个数据点的严格内存约束下，能否高效计算分位数回归估计器？
• RQ2 与朴素的分治方法相比，迭代聚合方法在计算成本和统计效率方面是否更具优势？
• RQ3 当 n 随 m 多项式增长时，所提方法能否实现与全数据 QR 估计器相同的渐近效率？
• RQ4 在维度 p→∞ 的高维设置下，该方法表现如何？
• RQ5 该方法能否在不损失效率的前提下扩展至分布式和流式数据环境？

主要发现

• 在 n 随 m 多项式增长的条件下，即使 p→∞，所提方法仍能实现估计器的渐近正态性。
• 仅需少数聚合轮次（例如 q=4 或 8），该方法即可达到与全数据 QR 估计器相同的渐近方差。
• 在模拟中，置信区间的覆盖概率接近名义上的 95% 水平，且偏差和方差随轮次增加显著下降。
• 当 n=2×10⁶ 且 m=20,000 时，DC LEQR 在 q=8 时达到 0.955 的覆盖率和 12.46×10⁻⁴ 的方差，接近全数据 QR 的性能。
• 与基于 ADMM 的 QR 相比，计算时间显著减少：当 n=10⁷ 且 m=1000 时，本方法耗时 9.344 秒，而 ADMM 耗时 11.423 秒，且覆盖率更高、偏差更低。
• 该方法优于朴素的分治方法，后者在大样本设置下表现出较差的覆盖率（如 0.739–0.808）和高偏差（最高达 5.40×10⁻²）。