[论文解读] Shielding Collaborative Learning: Mitigating Poisoning Attacks through Client-Side Detection

Lingchen Zhao, Shengshan Hu+5 more|arXiv (Cornell University)|Oct 29, 2019

Privacy-Preserving Technologies in Data参考文献 41被引用 16

一句话总结

本文提出一种客户端交叉验证防御机制，用于在协作学习中检测被污染的模型更新。客户端利用本地数据对更新进行评估，并将性能报告给服务器。通过结合差分隐私与动态客户端分配机制，该方法在独立同分布（IID）和非独立同分布（non-IID）设置下均能有效抵御投毒攻击，在鲁棒性与隐私保护方面优于现有防御方法。

ABSTRACT

Collaborative learning allows multiple clients to train a joint model without sharing their data with each other. Each client performs training locally and then submits the model updates to a central server for aggregation. Since the server has no visibility into the process of generating the updates, collaborative learning is vulnerable to poisoning attacks where a malicious client can generate a poisoned update to introduce backdoor functionality to the joint model. The existing solutions for detecting poisoned updates, however, fail to defend against the recently proposed attacks, especially in the non-IID setting. In this paper, we present a novel defense scheme to detect anomalous updates in both IID and non-IID settings. Our key idea is to realize client-side cross-validation, where each update is evaluated over other clients' local data. The server will adjust the weights of the updates based on the evaluation results when performing aggregation. To adapt to the unbalanced distribution of data in the non-IID setting, a dynamic client allocation mechanism is designed to assign detection tasks to the most suitable clients. During the detection process, we also protect the client-level privacy to prevent malicious clients from stealing the training data of other clients, by integrating differential privacy with our design without degrading the detection performance. Our experimental evaluations on two real-world datasets show that our scheme is significantly robust to two representative poisoning attacks.

研究动机与目标

• 解决协作学习在投毒攻击下的脆弱性，特别是在现有防御方法失效的非独立同分布（non-IID）数据设置下。
• 克服因服务器无法访问本地训练数据与模型更新而导致的服务器端检测局限性。
• 在不损害客户端隐私的前提下，实现对异常更新的准确检测。
• 通过动态客户端分配与加权聚合机制，确保在对抗性条件下模型仍能收敛并保持性能。
• 抵御高级投毒技术，如单客户端攻击与正交向量分解攻击。

提出的方法

• 通过在客户端执行交叉验证，将模型更新检测任务委托给客户端：每个客户端在其本地数据上评估接收到的更新。
• 将更新在客户端本地数据上的评估准确率作为可信度的代理指标，准确率越高表示污染程度越低。
• 在检测过程中集成差分隐私，隐藏客户端参与检测的行为，保护客户端层面的隐私。
• 在非独立同分布（non-IID）设置下，实现动态客户端分配机制，将检测任务分配给数据分布最具代表性或最均衡的客户端。
• 根据交叉验证结果对模型更新进行加权聚合，降低被污染更新的影响。
• 对检测报告应用梯度裁剪与噪声注入（差分隐私），防止对客户端参与情况的推断攻击。

实验结果

研究问题

• RQ1 在服务器无法访问训练数据的前提下，客户端交叉验证能否有效检测协作学习中的被污染模型更新？
• RQ2 在非独立同分布（non-IID）数据分布下，该方法的性能如何，尤其是在现有防御方法失效的场景中？
• RQ3 能否在不降低检测准确率或隐私保障的前提下，将差分隐私集成到检测流程中？
• RQ4 动态客户端分配机制如何提升在数据分布不平衡环境下的检测鲁棒性？
• RQ5 该方案能否抵御高级投毒策略，如单客户端攻击与正交向量分解攻击？

主要发现

• 所提出的客户端交叉验证防御机制在MNIST、KDDCup与CIFAR-10数据集上，对标签翻转攻击与后门投毒攻击均实现了高检测准确率。
• 该方法在非独立同分布（non-IID）设置下保持了鲁棒性，而先前的防御方法如Krum与FoolsGold因数据分布偏移而失效。
• 差分隐私的集成成功隐藏了客户端在检测中的参与情况，且未降低检测性能。
• 动态客户端分配通过选择更具代表性的数据进行评估，提升了检测的可靠性。
• 该方案在检测单客户端攻击与Sybil风格攻击方面，优于现有防御方法如Auror、FoolsGold与Krum。
• 基于交叉验证结果的加权聚合显著降低了被污染更新对全局模型准确率的影响。