[论文解读] Trusted AI in Multi-agent Systems: An Overview of Privacy and Security for Distributed Learning

Chuan Ma, Jun Li+6 more|arXiv (Cornell University)|Feb 18, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出一个四级框架——预处理数据、学习模型、提取的知识和中间结果——用于分析多智能体系统中分布式机器学习的隐私与安全风险。该文综述了各层级的最先进威胁与防御措施，重点聚焦联邦学习与可信AI，并提出了面向安全、隐私保护的分布式AI未来研究方向。

ABSTRACT

Motivated by the advancing computational capacity of distributed end-user equipments (UEs), as well as the increasing concerns about sharing private data, there has been considerable recent interest in machine learning (ML) and artificial intelligence (AI) that can be processed on on distributed UEs. Specifically, in this paradigm, parts of an ML process are outsourced to multiple distributed UEs, and then the processed ML information is aggregated on a certain level at a central server, which turns a centralized ML process into a distributed one, and brings about significant benefits. However, this new distributed ML paradigm raises new risks of privacy and security issues. In this paper, we provide a survey of the emerging security and privacy risks of distributed ML from a unique perspective of information exchange levels, which are defined according to the key steps of an ML process, i.e.: i) the level of preprocessed data, ii) the level of learning models, iii) the level of extracted knowledge and, iv) the level of intermediate results. We explore and analyze the potential of threats for each information exchange level based on an overview of the current state-of-the-art attack mechanisms, and then discuss the possible defense methods against such threats. Finally, we complete the survey by providing an outlook on the challenges and possible directions for future research in this critical area.

研究动机与目标

• 为应对由于去中心化边缘设备间数据共享增加而引发的分布式机器学习（DML）中隐私与安全问题日益加剧的担忧。
• 通过分析预处理数据、模型、知识和中间结果四个不同层级的信息交换，识别并分类分布式机器学习中的新兴威胁。
• 针对多智能体学习系统中各信息交换层级，综述最先进的攻击机制与防御技术。
• 考察标准、法规（例如GDPR、HIPAA、IEEE）以及伦理框架在实现分布式学习环境中可信AI方面的作用。
• 概述构建安全、私密且可信的分布式AI系统所面临的开放挑战与未来研究方向。

提出的方法

• 提出一种新颖的四级抽象框架，根据信息交换阶段对分布式机器学习中的隐私与安全风险进行分类：预处理数据、训练模型、提取的知识和中间计算结果。
• 分析各层级的威胁模型，包括成员推断攻击、模型反演攻击、模型窃取攻击和数据 poisoning 攻击，重点关注联邦学习与多智能体协作。
• 综述差分隐私、安全聚合、同态加密和对抗性训练等防御机制，并评估其在各信息交换层级的适用性。
• 评估IEEE标准（如IEEE 3652.1-2020、IEEE P2089、IEEE 1363）和监管框架（如GDPR、HIPAA、NIST）在实现安全且隐私保护的分布式学习中的作用。
• 通过IEEE P7000系列集成伦理系统设计原则，指导分布式AI系统的负责任开发。
• 将研究成果整合为一份全面综述，重点关注可信AI在多智能体系统中的实际部署挑战与研究空白。

实验结果

研究问题

• RQ1 在分布式机器学习中，隐私与安全威胁如何随信息交换的不同阶段而变化？
• RQ2 在多智能体学习系统中，四个抽象层级（数据、模型、知识、中间结果）的最关键攻击向量是什么？
• RQ3 在各信息交换层级，哪些防御机制最能有效缓解威胁，其权衡取舍为何？
• RQ4 现有标准与法规（如IEEE、GDPR、HIPAA）如何支持或制约可信分布式AI系统的开发？
• RQ5 在联邦学习与分布式学习中实现强大隐私与安全的关键开放挑战与未来研究方向是什么？

主要发现

• 四级框架——预处理数据、学习模型、提取的知识和中间结果——为系统性分类与分析分布式机器学习中的隐私与安全风险提供了有效方法。
• 成员推断与模型反演等威胁在模型与中间结果层级最为严重，因模型参数与梯度可能泄露敏感信息。
• 差分隐私与安全聚合在模型层级具有良好的防御效果，可显著降低模型反演与成员推断攻击的风险。
• IEEE 3652.1-2020 提供了联邦学习的标准化架构框架，确保在分布式系统中实现隐私保护、安全性与合规性。
• GDPR与HIPAA等监管框架对数据处理与同意提出了严格要求，直接影响系统设计与威胁缓解策略。
• 尽管已有进展，但在实时、大规模多智能体环境中，模型效用、效率与隐私之间的平衡仍面临重大挑战。