[论文解读] On the Sample Complexity of Adversarial Multi-Source PAC Learning

Nikola Konstantinov, Elias Frantar+2 more|arXiv (Cornell University)|Feb 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用 6

一句话总结

本文证明了当少于一半的数据源被污染时，对抗性多源PAC学习是可行的，提供了有限样本的一般化界，并表明通过合作式数据共享，即使存在恶意源，也能实现鲁棒学习。关键结果是样本复杂度上界，使得在对抗性污染下仍能收敛至最优性能。

ABSTRACT

We study the problem of learning from multiple untrusted data sources, a scenario of increasing practical relevance given the recent emergence of crowdsourcing and collaborative learning paradigms. Specifically, we analyze the situation in which a learning system obtains datasets from multiple sources, some of which might be biased or even adversarially perturbed. It is known that in the single-source case, an adversary with the power to corrupt a fixed fraction of the training data can prevent PAC-learnability, that is, even in the limit of infinitely much training data, no learning system can approach the optimal test error. In this work we show that, surprisingly, the same is not true in the multi-source setting, where the adversary can arbitrarily corrupt a fixed fraction of the data sources. Our main results are a generalization bound that provides finite-sample guarantees for this learning setting, as well as corresponding lower bounds. Besides establishing PAC-learnability our results also show that in a cooperative learning setting sharing data with other parties has provable benefits, even if some participants are malicious.

研究动机与目标

• 形式化多不可信数据源学习问题，其中恒定比例的源可能被对抗性污染。
• 研究在多源设置下鲁棒PAC可学习性是否可能，与单源情况下不可能的情况形成对比。
• 通过样本复杂度的上下界，刻画对抗性多源学习的统计难度。
• 证明诚实参与方之间的合作式数据共享可提供可证明的优势，即使存在恶意参与者。
• 建立对抗性多源学习与鲁棒优化、统计学及密码学之间的联系。

提出的方法

• 在标准PAC框架下形式化对抗性多源PAC学习问题，假设来自多个源的i.i.d.数据集。
• 利用一致收敛和鲁棒聚合原则，推导出在少于一半源被对抗性污染时的过剩风险的一般化界。
• 证明简单合并所有数据并应用鲁棒学习器是不足的（定理2），强调了结构化多源处理的必要性。
• 建立过剩风险的下界（定理3），表明即使在弱假设下，收敛速度也会随对抗者强度α成比例变慢。
• 利用VC维和一致收敛性质，推导出对任意非平凡假设类（d ≥ 2）有效的界。
• 将推导出的界与经典i.i.d.学习率进行比较，表明鲁棒性导致的延迟与α/m成正比，其中m为每源样本数。

实验结果

研究问题

• RQ1 当恒定比例的源被对抗性污染时，多源学习设置下PAC可学习性是否仍可保持？
• RQ2 在合作学习设置中，即使部分参与者为恶意，与其他方共享数据是否具有可证明的优势？
• RQ3 在对抗性多源设置下，鲁棒学习所需的样本复杂度的根本下限是什么？
• RQ4 为何在此设置下简单合并所有数据对鲁棒学习无效？
• RQ5 鲁棒学习的收敛率如何依赖于源的数量、每源样本数以及被污染源的比例？

主要发现

• 对于具有统一收敛性质的任意假设类，当少于一半源被污染时，对抗性多源PAC学习是可行的。
• 所提出的鲁棒学习算法在无数据污染时达到最优一般化率，表明鲁棒性仅带来微小的统计代价。
• 过剩风险的下界表明，收敛速度会因因子Ω(α/m)而变慢，其中α为被污染源的比例，m为每源样本数。
• 鲁棒性导致的延迟是不可避免的：即使源数量无限，除非每源样本数随m增长，否则无法实现收敛。
• 在对抗性多源设置下，收敛率是Ω(√(d/Nm) + α/m)，慢于i.i.d.学习率Ω(1/Nm)，凸显了鲁棒性的代价。
• 该下界适用于任意非平凡假设类（d ≥ 2），表明统计限制是固有的，而非仅针对难学习问题。