[论文解读] SoK: Training Machine Learning Models over Multiple Sources with Privacy Preservation

Lushan Song, Lin, Guopeng+4 more|arXiv (Cornell University)|Dec 6, 2020

Privacy-Preserving Technologies in Data参考文献 108被引用 7

一句话总结

本文全面综述了在多个数据源上实现隐私保护机器学习的技术，重点聚焦于联邦学习（FL）和安全多方学习（MPL）。文章从安全性、效率、数据分布、模型准确率及应用场景等多个维度对两种方法进行评估，识别出关键挑战与未来研究方向，如动态可扩展性、对复杂模型的支持以及更强的威胁模型。

ABSTRACT

Nowadays, gathering high-quality training data from multiple data sources with privacy preservation is a crucial challenge to training high-performance machine learning models. The potential solutions could break the barriers among isolated data corpus, and consequently enlarge the range of data available for processing. To this end, both academic researchers and industrial vendors are recently strongly motivated to propose two main-stream folders of solutions mainly based on software constructions: 1) Secure Multi-party Learning (MPL for short); and 2) Federated Learning (FL for short). The above two technical folders have their advantages and limitations when we evaluate them according to the following five criteria: security, efficiency, data distribution, the accuracy of trained models, and application scenarios. Motivated to demonstrate the research progress and discuss the insights on the future directions, we thoroughly investigate these protocols and frameworks of both MPL and FL. At first, we define the problem of Training machine learning Models over Multiple data sources with Privacy Preservation (TMMPP for short). Then, we compare the recent studies of TMMPP from the aspects of the technical routes, the number of parties supported, data partitioning, threat model, and machine learning models supported, to show their advantages and limitations. Next, we investigate and evaluate five popular FL platforms. Finally, we discuss the potential directions to resolve the problem of TMMPP in the future.

研究动机与目标

• 为解决在不直接共享数据的前提下，于去中心化且隐私敏感的数据源之间训练高性能机器学习模型的挑战。
• 基于安全性、效率、数据分布、模型准确率及应用场景适配性，对比并评估两种主流技术路径——联邦学习（FL）与安全多方学习（MPL）。
• 识别当前FL与MPL框架的局限性，包括威胁模型较弱、缺乏访问控制机制，以及对非独立同分布（non-IID）数据和复杂模型支持不足。
• 提出并分析未来研究方向，以增强隐私保护机器学习能力，如动态可扩展性、对系统异构性的容忍能力，以及对先进模型的支持。

提出的方法

• 将跨多个数据源实现隐私保护的机器学习模型训练（TMMPP）定义为统一的研究挑战。
• 基于技术路径、支持参与方数量、数据划分方式、威胁模型及兼容的机器学习模型，对现有MPL与FL解决方案进行分类与比较。
• 评估五个主流FL平台，以分析其在实际环境中的性能表现与局限性。
• 分析MPL中底层密码学技术，包括秘密共享、Yao的混淆电路以及SPDZ协议，以实现安全计算。
• 提出集成安全聚合与基于MAC的验证机制，以增强FL中服务器的安全性。
• 探索使用Shamir的秘密共享机制，以在MPL框架中实现访问控制与动态可扩展性。

实验结果

研究问题

• RQ1 在安全性、效率以及对现实世界数据分布的支持方面，FL与MPL有何异同？
• RQ2 当前FL与MPL框架在处理非独立同分布（non-IID）数据、系统异构性及动态参与方加入方面存在哪些关键局限？
• RQ3 如何实施访问控制机制，以确保仅授权方能够获取全局模型？
• RQ4 哪些密码学与系统级优化手段可提升MPL与FL的效率与可扩展性？
• RQ5 在实现实际、安全且可扩展的多源机器学习方面，哪些未来研究方向最具前景？

主要发现

• 由于仅传输模型更新而非原始数据，FL通常比MPL具有更低的通信与计算开销。
• MPL提供更强的安全保障，包括在诚实多数假设下抵御恶意攻击的能力，但其通信与计算成本较高。
• 大多数FL框架假设服务器为半诚实或诚实服务器，对恶意服务器的威胁缺乏充分应对。
• 当前框架缺乏对动态参与方的支持，导致在存在不可靠或变化连接环境的真实场景中表现脆弱。
• 非独立同分布（non-IID）数据会显著降低FL性能，但元学习与多任务学习等技术可有效缓解该问题。
• 在FL与MPL框架中，对复杂模型（如LSTM与决策树）的支持仍显不足，构成一项关键开放挑战。