[论文解读] Thinking Two Moves Ahead: Anticipating Other Users Improves Backdoor Attacks in Federated Learning

Yuxin Wen, Jonas Geiping+5 more|arXiv (Cornell University)|Oct 17, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了一种新型联邦学习后门攻击，该攻击通过预测良性客户端未来的更新，使恶意模型更新更具持久性。通过反向传播模拟未来联邦平均步骤，该攻击即使在攻击机会有限的情况下也能确保后门持续有效，在训练结束后实现60%的后门准确率，而基线方法仅降至20%。

ABSTRACT

Federated learning is particularly susceptible to model poisoning and backdoor attacks because individual users have direct control over the training data and model updates. At the same time, the attack power of an individual user is limited because their updates are quickly drowned out by those of many other users. Existing attacks do not account for future behaviors of other users, and thus require many sequential updates and their effects are quickly erased. We propose an attack that anticipates and accounts for the entire federated learning pipeline, including behaviors of other clients, and ensures that backdoors are effective quickly and persist even after multiple rounds of community updates. We show that this new attack is effective in realistic scenarios where the attacker only contributes to a small fraction of randomly sampled rounds and demonstrate this attack on image classification, next-word prediction, and sentiment analysis.

研究动机与目标

• 解决现有联邦学习后门攻击在攻击机会稀疏的现实条件下失效的局限性。
• 克服单个恶意更新在联邦平均过程中迅速被良性更新覆盖的挑战。
• 开发一种攻击策略，通过建模良性用户更新的下游影响，确保后门长期持久。
• 在现实的非独立同分布（non-IID）和通信受限的联邦学习环境中，验证该攻击的有效性。
• 在图像分类、下一个词预测和情感分析等多种任务上评估该攻击。

提出的方法

• 该攻击名为'Anticipate'，通过模拟未来k轮中良性客户端的行为，对未来的联邦平均步骤进行建模。
• 利用可微分的联邦平均聚合过程模拟，通过未来模型更新反向传播梯度。
• 攻击者优化恶意更新，以在k轮模拟的未来更新后最大化后门准确率，确保对后续良性更新的鲁棒性。
• 该方法引入了范数约束作为防御机制，使其在个体更新被截断的现实约束下依然有效。
• 提出了三种高效变体：(A) 仅在最终步骤计算损失，(B) 随机选择步骤并使用完整损失，(C) 仅在随机选择的步骤上计算损失，以降低计算成本。
• 该攻击通过基于梯度的优化在恶意更新上实现，目标函数设计为最大化长期后门成功率。

实验结果

研究问题

• RQ1 当攻击者仅参与极少数训练轮次时，联邦学习中的后门攻击是否仍能保持有效性？
• RQ2 预测未来良性更新如何提升联邦模型中后门触发器的持久性？
• RQ3 为最大化后门准确率和持久性，应预测多少轮未来步骤为最优？
• RQ4 攻击的高效变体能否在降低计算成本的同时保持高性能？
• RQ5 在范数约束防御下，该攻击是否仍具有效性？范数约束是联邦学习系统中常见的缓解措施。

主要发现

• Anticipate攻击在500轮内实现100%后门准确率，显著快于基线方法，即使仅20,000次贡献中有100次为恶意。
• 攻击窗口结束后，Anticipate方法仍保持60%的后门准确率，而基线方法仅维持20%。
• 最优预测步长为9步，此时后门准确率达到最大；更长的预测不会进一步提升持久性。
• 攻击的高效变体，特别是变体C（仅在随机选择的未来步骤上计算损失），显著减少了优化时间，同时仍优于基线方法。
• 该攻击在严格的范数约束下依然有效，表明此类防御手段对具备前瞻性的复杂攻击不足以构成充分防护。
• 该攻击特别针对规避范数约束防御设计，可通过Krum、Multi-krum或中值聚合等替代聚合方法进行缓解。