[论文解读] Outlier Robust Online Learning

Jiashi Feng, Huan Xu+1 more|arXiv (Cornell University)|Jan 1, 2017

Sparse and Compressive Sensing Techniques参考文献 16被引用 7

一句话总结

本文提出在线鲁棒学习（ORL），一种适用于大规模数据的可扩展框架，通过将在线优化与中值滤波相结合，实现对对抗性异常值的可证明鲁棒性。通过在小批量和全局两个层面应用鲁棒估计，ORL 保持了统计一致性与效率，在合成数据和真实世界场景（包括图像标注与分布式学习）中均优于标准在线方法。

ABSTRACT

We consider the problem of learning from noisy data in practical settings where the size of data is too large to store on a single machine. More challenging, the data coming from the wild may contain malicious outliers. To address the scalability and robustness issues, we present an online robust learning (ORL) approach. ORL is simple to implement and has provable robustness guarantee -- in stark contrast to existing online learning approaches that are generally fragile to outliers. We specialize the ORL approach for two concrete cases: online robust principal component analysis and online linear regression. We demonstrate the efficiency and robustness advantages of ORL through comprehensive simulations and predicting image tags on a large-scale data set. We also discuss extension of the ORL to distributed learning and provide experimental evaluations.

研究动机与目标

• 解决大规模数据学习中的双重挑战：数据量过大无法集中存储，且可能包含恶意异常值。
• 克服传统鲁棒学习方法的局限性，后者需要对数据进行多次遍历，对大规模数据集而言计算成本过高。
• 开发一种在线学习框架，在保持对恒定比例异常值鲁棒性的同时，实现高效流式计算。
• 将 ORL 框架扩展至分布式学习场景，以增强对节点故障与通信错误的容错能力。
• 通过理论保证与大规模真实世界数据（包括图像标注任务）的实证验证，证明 ORL 的有效性。

提出的方法

• 采用两级在线学习架构：首先在每个小批量内独立执行标准在线优化（如随机梯度下降）进行在线估计。
• 对小批量估计结果应用中值滤波，以鲁棒方式聚合结果，并过滤因异常值密集的小批量导致的污染估计。
• 利用中值估计器的统计鲁棒性，确保即使高达恒定比例的小批量被异常值污染，结果仍保持一致性。
• 将 ORL 框架形式化为通用流程，兼容多种学习算法，包括在线鲁棒主成分分析（PCA）与线性回归。
• 通过在多个计算节点的估计结果上应用中值滤波，将 ORL 框架集成至分布式学习中，提升容错能力。
• 理论分析表明，ORL 保持与集中式鲁棒方法相当的收敛速率，误差界依赖于次高斯尾参数与异常值比例。

实验结果

研究问题

• RQ1 能否使在线学习在流式数据中对恒定比例的对抗性异常值实现可证明鲁棒性？
• RQ2 如何在不需多次遍历数据或集中计算的前提下，保持在线学习的鲁棒性？
• RQ3 异常值在小批量间分布不均对在线学习算法性能有何影响？
• RQ4 能否在保持对节点故障与通信错误鲁棒性的前提下，将 ORL 框架扩展至分布式学习场景？
• RQ5 与标准在线学习及集中式鲁棒学习方法相比，ORL 框架在收敛性、准确率与计算效率方面表现如何？

主要发现

• ORL 框架对恒定比例异常值实现了可证明鲁棒性，理论界表明即使高达恒定比例的小批量估计被污染，估计误差仍受控。
• 对于在线鲁棒主成分分析，子空间估计误差满足：$ \|P_{\mathcal{U}} - P_{\mathcal{U}}^\star\|_{\infty} \leq \frac{2L}{\Delta_d} \left\{ \sqrt{\frac{4}{c}\log(\frac{4}{\delta})} \sqrt{\frac{p}{n}} + \frac{\lambda}{1-\lambda} \log(\frac{2}{\delta}) \right\} $，以高概率成立。
• 对于在线鲁棒线性回归，$ \ell_2 $ 估计误差满足：$ \|\widehat{\theta} - \theta^\star\|_2 \leq c\|\theta^\star\|_2 \sqrt{1 + \frac{\sigma_e^2}{\|\theta^\star\|_2^2}} \left( \sqrt{\frac{p\log(1/\delta)}{n}} + \frac{\lambda}{1-\lambda} \sqrt{p} \log(1/\delta) \right) $，表明对异常值污染具有鲁棒性。
• 大规模图像标注数据的综合仿真与真实世界实验表明，ORL 在鲁棒性方面显著优于标准在线学习方法，同时保持高效率。
• ORL 框架成功扩展至分布式学习，在该场景中对通信错误与节点故障具有鲁棒性，实验验证了其在分布式环境中的有效性。
• 与集中式鲁棒学习相比，该方法鲁棒性损失可忽略不计，同时实现接近线性的可扩展性，适用于 TB 与 PB 级数据。