[论文解读] SCOTCH: An Efficient Secure Computation Framework for Secure Aggregation

Yash More, Prashanthi Ramachandran+4 more|arXiv (Cornell University)|Jan 19, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

SCOTCH 是一种去中心化的高效安全计算框架，专为联邦学习设计，利用秘密共享和多方计算（MPC）原语，实现跨多个参与方和服务器的隐私保护模型聚合。它在每轮训练中仅需 O(2mn) 项密码学操作，通信开销极低，同时实现了高模型准确率——在 MNIST 上达到 96.57%，在 EMNIST 上达到 98.40%。

ABSTRACT

Federated learning enables multiple data owners to jointly train a machine learning model without revealing their private datasets. However, a malicious aggregation server might use the model parameters to derive sensitive information about the training dataset used. To address such leakage, differential privacy and cryptographic techniques have been investigated in prior work, but these often result in large communication overheads or impact model performance. To mitigate this centralization of power, we propose SCOTCH, a decentralized m-party secure-computation framework for federated aggregation that deploys MPC primitives, such as secret sharing. Our protocol is simple, efficient, and provides strict privacy guarantees against curious aggregators or colluding data-owners with minimal communication overheads compared to other existing state-of-the-art privacy-preserving federated learning frameworks. We evaluate our framework by performing extensive experiments on multiple datasets with promising results. SCOTCH can train the standard MLP NN with the training dataset split amongst 3 participating users and 3 aggregating servers with 96.57% accuracy on MNIST, and 98.40% accuracy on the Extended MNIST (digits) dataset, while providing various optimizations.

研究动机与目标

• 解决联邦学习中因中心化聚合器可能从模型更新中推断敏感数据而带来的隐私风险。
• 降低基于 MPC 或差分隐私的现有隐私保护联邦学习框架所面临的通信与计算开销。
• 通过在多个服务器之间实现去中心化模型聚合，消除中心化聚合的单点故障问题。
• 利用安全多方计算，为训练数据、中间模型权重和最终模型参数提供端到端的隐私保护。
• 设计一种实用、高效且可扩展的框架，适用于隐私敏感型机器学习应用的实际部署。

提出的方法

• 该框架使用秘密共享将模型更新分发至 m 个参与方和 n 个聚合器，确保任一单一实体均无法重构原始数据。
• 利用安全外包计算在不泄露输入的前提下对共享值执行算术运算，采用标准 MPC 协议。
• 系统运行于诚实但好奇威胁模型下，可抵御好奇的聚合器和合谋的数据拥有者。
• 使用整数与定点算术上的加法秘密共享进行模型聚合，支持可配置的精度（整数部分 l_w 位，小数部分 l_f 位）。
• 通过优化密码学操作，将每轮训练的开销降低至 O(2mn)，显著减少通信成本。
• 在 MNIST、EMNIST 和 FMNIST 数据集上使用多层感知机（MLP）进行实验，分析不同位长配置下的精度与性能表现。

实验结果

研究问题

• RQ1 与现有基于 MPC 的方法相比，去中心化的联邦学习框架是否能在最小通信开销下实现强隐私保障？
• RQ2 基于秘密共享的安全聚合对多方联邦学习中的模型准确率与训练效率有何影响？
• RQ3 在 MPC 约束下，定点算术的最优精度（位长）是多少？
• RQ4 该框架是否能在保护中间模型权重和最终模型参数免受推断攻击的同时，维持高模型准确率？
• RQ5 随着参与方与聚合器数量的增加，通信与计算成本在系统中如何扩展？

主要发现

• SCOTCH 在标准 MLP 模型下，通过在 3 名用户和 3 台服务器之间安全聚合模型更新，在 MNIST 数据集上实现了 96.57% 的测试准确率。
• 该框架在 Extended MNIST（数字）数据集上达到 98.40% 的准确率，表明其在多分类任务中具有优异性能。
• 系统将每轮训练的密码学开销降低至 O(2mn) 次操作，相比现有最先进框架显著降低了通信成本。
• 将精度从 13–16 位提升至更高值（如 24–32 位）可提升 MLP 模型的性能，尤其在复杂任务（如多分类）中效果更明显。
• 该框架在保持与现有方法相当的模型效用和隐私保障的同时，显著提升了训练时间和通信效率。
• 所有代码与实验结果均公开发布于 https://github.com/arupmondal-cs/SCOTCH，便于复现与进一步研究。