[论文解读] Online and Distributed Robust Regressions under Adversarial Data Corruption

Xuchao Zhang, Liang Zhao+2 more|arXiv (Cornell University)|Oct 2, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用 6

一句话总结

本文提出了一种分布式和在线的鲁棒回归算法（DRLR 和 ORLR），通过每数据批次使用启发式硬阈值化方法和鲁棒聚合策略，解决了大规模数据集中对抗性数据污染的问题，确保了稳定的系数恢复。这些方法在相对于最先进批量方法的误差上实现了恒定的上界，在合成数据和真实世界数据上均表现出优于现有方法的鲁棒性和可扩展性。

ABSTRACT

In today's era of big data, robust least-squares regression becomes a more challenging problem when considering the adversarial corruption along with explosive growth of datasets. Traditional robust methods can handle the noise but suffer from several challenges when applied in huge dataset including 1) computational infeasibility of handling an entire dataset at once, 2) existence of heterogeneously distributed corruption, and 3) difficulty in corruption estimation when data cannot be entirely loaded. This paper proposes online and distributed robust regression approaches, both of which can concurrently address all the above challenges. Specifically, the distributed algorithm optimizes the regression coefficients of each data block via heuristic hard thresholding and combines all the estimates in a distributed robust consolidation. Furthermore, an online version of the distributed algorithm is proposed to incrementally update the existing estimates with new incoming data. We also prove that our algorithms benefit from strong robustness guarantees in terms of regression coefficient recovery with a constant upper bound on the error of state-of-the-art batch methods. Extensive experiments on synthetic and real datasets demonstrate that our approaches are superior to those of existing methods in effectiveness, with competitive efficiency.

研究动机与目标

• 解决在无法将整个数据集加载到内存中的大规模数据集中鲁棒最小二乘回归的挑战。
• 克服传统鲁棒方法在异质污染下失效以及在大数据中计算不可行的局限性。
• 开发一种分布式算法，对每个小批量数据估计污染程度，并在批次间鲁棒地聚合结果。
• 设计一种在线扩展，能够通过新数据批次增量更新回归系数，同时保持鲁棒性。
• 确保对系数恢复误差的强理论保证，其误差界相对于最先进批量方法为常数。

提出的方法

• 使用启发式硬阈值化方法，估计每个数据小批量内的污染集合，识别并排除异常值。
• 应用分布式鲁棒聚合策略，将各批次的独立估计结果合并为一个全局的、鲁棒的回归系数向量。
• 采用在线更新机制，通过新到达的数据批次增量调整现有估计。
• 提出一种每批次的污染估计策略，无需对整个数据集的全局信息。
• 理论分析证明，系数恢复误差被一个常数所限制，且与数据集大小无关。
• 该方法设计为可扩展，运行时间随数据量、批次数量和污染比例线性增长。

实验结果

研究问题

• RQ1 当数据无法完全加载到内存中时，能否在存在对抗性污染的大规模数据集中有效扩展鲁棒回归？
• RQ2 当污染在数据批次间异质分布时，如何保持鲁棒性？
• RQ3 在线和分布式框架能否实现与批量方法相当的强鲁棒性保证？
• RQ4 污染比例和批次内污染分布的变化对系数恢复精度有何影响？
• RQ5 与现有在线和分布式鲁棒回归技术相比，所提方法在效率和鲁棒性方面表现如何？

主要发现

• 当至少一个小型批量被污染时，DRLR 和 ORLR 在系数恢复误差方面优于所有对比方法，尤其在高污染比例下表现更优。
• 在所有在线方法中，ORLR 表现最佳，即使被污染的小型批量数量从 2 增加到 8，其误差仍保持较低水平。
• 在低污染（≤10%）条件下，RLHH-AVG 表现最佳，但当超过少数批次被污染时，其性能急剧下降，凸显其脆弱性。
• OLS-AVG 方法在低污染环境下表现具有竞争力，因其污染偏差较小，但在高污染条件下完全失效。
• DRLR 和 ORLR 在数据量、批次数量和污染比例增加时，运行时间保持线性增长，表明具有强大的可扩展性。
• 尽管增加了污染估计和聚合步骤，DRLR 和 ORLR 仍实现了具有竞争力的效率，其速度和鲁棒性均优于 RLHH。