[论文解读] Robust and Privacy-Preserving Collaborative Learning: A Comprehensive Survey

Shangwei Guo, Xu Zhang+5 more|arXiv (Cornell University)|Dec 19, 2021

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本篇全面综述系统分析了协作学习系统（尤其是联邦学习）中的安全与隐私威胁，包括拜占庭攻击、后门攻击以及数据推断攻击。综述回顾了鲁棒聚合、差分隐私和加密等防御机制，并指出了非独立同分布（non-IID）数据、经认证的后门防御以及隐私与性能权衡等开放挑战。

ABSTRACT

With the rapid demand of data and computational resources in deep learning systems, a growing number of algorithms to utilize collaborative machine learning techniques, for example, federated learning, to train a shared deep model across multiple participants. It could effectively take advantage of the resources of each participant and obtain a more powerful learning system. However, integrity and privacy threats in such systems have greatly obstructed the applications of collaborative learning. And a large amount of works have been proposed to maintain the model integrity and mitigate the privacy leakage of training data during the training phase for different collaborative learning systems. Compared with existing surveys that mainly focus on one specific collaborative learning system, this survey aims to provide a systematic and comprehensive review of security and privacy researches in collaborative learning. Our survey first provides the system overview of collaborative learning, followed by a brief introduction of integrity and privacy threats. In an organized way, we then detail the existing integrity and privacy attacks as well as their defenses. We also list some open problems in this area and opensource the related papers on GitHub: https://github.com/csl-cqu/awesome-secure-collebrative-learning-papers.

研究动机与目标

• 提供对协作学习系统中完整性和隐私威胁的统一、全面综述，超越对单一框架的狭隘关注。
• 分析拜占庭攻击、后门攻击以及数据推断攻击在协作训练中的根本原因与作用机制。
• 从完整性和隐私两个维度，评估现有防御策略（尤其是鲁棒聚合、差分隐私和加密）的有效性。
• 识别并阐明当前防御研究中的关键开放问题，包括非独立同分布（non-IID）数据、经认证的防御机制以及隐私与性能之间的权衡。
• 通过整理一个开源论文资源库（https://github.com/csl-cqu/awesome-secure-collebrative-learning-papers），为未来研究提供支持。

提出的方法

• 将协作学习系统分类为基于服务器的架构与对等网络架构，重点聚焦联邦学习作为关键代表。
• 将完整性威胁分类为拜占庭攻击（如模型投毒）与后门攻击（如基于触发器的数据投毒），并分析其传播机制。
• 回顾隐私威胁，如成员推断攻击、属性推断攻击与模型反演攻击，强调梯度和模型更新如何泄露数据信息。
• 评估防御技术：使用鲁棒聚合（如Krum、截断均值）保障完整性，使用差分隐私与同态加密保障隐私。
• 分析混合防御机制，如结合差分隐私与鲁棒聚合，以提升系统鲁棒性。
• 基于威胁模型、攻击向量与防御目标（模型 vs. 数据）提出攻击与防御机制的分类体系。

实验结果

研究问题

• RQ1 拜占庭攻击与后门攻击如何在协作学习中破坏模型完整性？它们的显著特征是什么？
• RQ2 在现实条件下，现有防御措施（尤其是鲁棒聚合与差分隐私）在缓解完整性与隐私威胁方面的有效性如何？
• RQ3 当前防御机制在非独立同分布（non-IID）或噪声数据场景下的关键局限性是什么？这些局限性如何影响模型鲁棒性？
• RQ4 为何经认证的后门防御在协作学习中仍发展不足？其部署面临哪些技术障碍？
• RQ5 如何利用协作学习的系统级特性改进差分隐私中的隐私-性能权衡？

主要发现

• 仅需一个恶意参与者，拜占庭攻击即可破坏整个协作学习过程，尤其在更新与良性更新难以区分时。
• 即使不共享原始数据，协作学习中的模型更新仍可能泄露成员身份与特征信息，攻击者可从梯度中重构训练样本。
• 现有后门防御多为经验性方法，在面对高级自适应攻击时失效；而具备可证明保证的经认证防御在协作环境中仍极为稀缺。
• 差分隐私虽能提升隐私保护，但常因高噪声注入而降低模型性能，尤其在大型神经网络中更为明显。
• 通过添加噪声或剪枝参数以防止样本推断的防御方法可能降低模型准确率，凸显了在保持性能的同时实现隐私保护的迫切需求。
• 非独立同分布（non-IID）数据、属性推断中的基础数据集问题以及可扩展的经认证防御等开放问题仍研究不足，表明存在显著的研究空白。