[论文解读] Trustworthy Federated Learning: A Survey

Asadullah Tariq, Mohamed Adel Serhani+4 more|arXiv (Cornell University)|May 19, 2023

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本综述提出了一种以可解释性、公平性和安全与隐私为核心的可信联邦学习（FL）全面分类法。该研究分析了FL系统中的可信性挑战，提出了一个结构化的可信度评估架构，并指出了关键的研究空白与未来方向，以增强去中心化人工智能训练中的模型鲁棒性、隐私保护与责任可追溯性。

ABSTRACT

Federated Learning (FL) has emerged as a significant advancement in the field of Artificial Intelligence (AI), enabling collaborative model training across distributed devices while maintaining data privacy. As the importance of FL increases, addressing trustworthiness issues in its various aspects becomes crucial. In this survey, we provide an extensive overview of the current state of Trustworthy FL, exploring existing solutions and well-defined pillars relevant to Trustworthy . Despite the growth in literature on trustworthy centralized Machine Learning (ML)/Deep Learning (DL), further efforts are necessary to identify trustworthiness pillars and evaluation metrics specific to FL models, as well as to develop solutions for computing trustworthiness levels. We propose a taxonomy that encompasses three main pillars: Interpretability, Fairness, and Security & Privacy. Each pillar represents a dimension of trust, further broken down into different notions. Our survey covers trustworthiness challenges at every level in FL settings. We present a comprehensive architecture of Trustworthy FL, addressing the fundamental principles underlying the concept, and offer an in-depth analysis of trust assessment mechanisms. In conclusion, we identify key research challenges related to every aspect of Trustworthy FL and suggest future research directions. This comprehensive survey serves as a valuable resource for researchers and practitioners working on the development and implementation of Trustworthy FL systems, contributing to a more secure and reliable AI landscape.

研究动机与目标

• 应对联邦学习（FL）在医疗、金融等隐私敏感领域日益广泛应用所带来的可信性需求增长。
• 识别并定义联邦学习中核心可信性支柱——可解释性、公平性与安全与隐私，这些方面相较于集中式人工智能仍发展不足。
• 系统性地分析从客户端参与至服务器聚合的FL各层级中的可信挑战，包括各类攻击与系统漏洞。
• 提出统一的可信联邦学习架构，支持可验证的模型更新、可审计性以及对恶意行为者和不可信客户端的弹性抵抗。
• 突出关键的开放研究问题，并提出未来方向，以推动安全、公平且可解释的联邦学习系统的发展。

提出的方法

• 提出三支柱分类法：可解释性（模型可解释性）、公平性（偏差缓解）与安全与隐私（数据保护、完整性与机密性）。
• 引入一个全面的可信联邦学习架构框架，支持模型验证、不可篡改的更新日志记录以及客户端身份认证。
• 分析可信度评估机制，包括可验证聚合协议与动态密钥管理，以增强对组件被攻破的弹性应对能力。
• 研究非独立同分布（non-IID）数据、客户端中断与通信开销等挑战，提出在保障隐私与完整性的同时的解决方案。
• 将问责制、可审计性与鲁棒性原则整合进FL流程，强调去中心化与可验证的训练过程。
• 提出可靠的贡献评估与激励分配机制，以鼓励客户端诚实参与，防止Sybil攻击与懒惰攻击。

实验结果

研究问题

• RQ1 可信联邦学习的关键可信支柱是什么？它们与集中式机器学习中的可信支柱有何不同？
• RQ2 在存在不可信客户端与潜在被攻破服务器的去中心化FL环境中，如何验证模型的完整性与真实性？
• RQ3 在异构且不可靠的客户端环境下，FL系统中应采用何种机制确保公平的贡献评估与公平的激励分配？
• RQ4 FL系统如何在保护隐私的同时，实现对数据投毒与后门攻击的可认证鲁棒性？
• RQ5 何种可扩展且高效的协议能够支持安全的模型聚合，而不会在大规模FL部署中引入通信瓶颈？

主要发现

• 现有联邦学习研究中，可信联邦学习的三大核心支柱——可解释性、公平性与安全与隐私——虽至关重要，但相较于集中式人工智能仍发展不足。
• 可信联邦学习需要一个安全、可验证且可审计的架构，支持不可篡改的模型更新日志与客户端身份认证，以防止篡改行为。
• 当前的FL系统易受数据投毒、模型投毒与后门攻击的影响，亟需强大的检测与防御机制。
• 在边缘计算与物联网等资源受限环境中，必须采用轻量级、隐私保护型且可验证的FL协议，以确保可扩展性与弹性。
• 高效且可扩展的安全聚合协议对于克服通信开销、实现可信联邦学习的大规模部署至关重要。
• 动态密钥管理与及时监控对于在部分组件被攻破时维持系统完整性至关重要，从而确保联邦学习过程的持续可信。