[论文解读] Reconciling Security and Communication Efficiency in Federated Learning

Karthik R. Prasad, Sayan Ghosh+4 more|arXiv (Cornell University)|Jul 26, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文通过将标量量化、剪枝和乘积量化适配至安全聚合（SecAgg），提出了一套安全且通信高效的联邦学习压缩技术，实现了高达40倍的上行链路压缩，同时保持了极低的精度损失。该工作提出了安全索引（SecInd），一种SecAgg的变体，通过在压缩域中操作支持乘积量化，实现极高水平的压缩，同时保持了隐私和安全保证。

ABSTRACT

Cross-device Federated Learning is an increasingly popular machine learning setting to train a model by leveraging a large population of client devices with high privacy and security guarantees. However, communication efficiency remains a major bottleneck when scaling federated learning to production environments, particularly due to bandwidth constraints during uplink communication. In this paper, we formalize and address the problem of compressing client-to-server model updates under the Secure Aggregation primitive, a core component of Federated Learning pipelines that allows the server to aggregate the client updates without accessing them individually. In particular, we adapt standard scalar quantization and pruning methods to Secure Aggregation and propose Secure Indexing, a variant of Secure Aggregation that supports quantization for extreme compression. We establish state-of-the-art results on LEAF benchmarks in a secure Federated Learning setup with up to 40$ imes$ compression in uplink communication with no meaningful loss in utility compared to uncompressed baselines.

研究动机与目标

• 解决标准上行链路压缩技术（如量化、剪枝）与安全聚合（SecAgg）之间的根本性不兼容问题，后者在跨设备联邦学习中对隐私保护至关重要。
• 在不损害安全性的前提下，实现联邦学习中的高通信效率，尤其针对带宽受限的上行链路更新。
• 开发保持解压缩算子线性的压缩方法，以维持与SecAgg协议的兼容性。
• 提出安全索引（SecInd），一种新型SecAgg变体，支持通过乘积量化实现极高水平压缩，同时保持强大的安全保证。
• 在LEAF基准上实现最先进性能，在安全压缩通信下实现最小的效用退化。

提出的方法

• 通过在解压缩算子上施加线性约束，将标量量化和（随机）剪枝适配至SecAgg，确保无需修改SecAgg协议即可保持兼容性。
• 提出安全索引（SecInd），一种SecAgg的变体，通过在压缩域中操作并支持对量化索引的安全聚合，实现对乘积量化的支持。
• 采用基于可信执行环境（TEE）的SecAgg框架，其中客户端使用共享压缩算子对模型更新进行压缩，用随机掩码加密压缩后的更新，并发送给服务器。
• 通过服务器广播周期性更新压缩参数（如量化级别、码书、剪枝掩码），以减少参数滞后并提升精度。
• 确保解压缩过程为线性操作，使服务器能够在压缩域中恢复聚合结果，并以最小误差转换回原始域。
• 复用现有的SecAgg基础设施（如基于TEE的系统）以维持安全性，同时集成压缩技术，避免对核心协议进行修改。

实验结果

研究问题

• RQ1 标准压缩技术（如标量量化和剪枝）能否在不破坏隐私保证的前提下，与联邦学习中的安全聚合（SecAgg）兼容？
• RQ2 在符合SecAgg的端到端安全设置下，上行链路可实现的最大压缩率是多少，同时保持最小的精度退化？
• RQ3 如何将乘积量化集成到SecAgg中，以实现极端压缩（如40倍）的同时保持安全性和效用？
• RQ4 对压缩参数（如码书、量化级别）的周期性更新对模型精度和滞后性有何影响？
• RQ5 SecAgg的位宽选择如何影响标量量化的溢出率？在安全与通信效率之间存在何种权衡？

主要发现

• 所提方法在FEMNIST基准上实现了高达40倍的上行链路通信压缩，与未压缩基线相比，模型效用无显著损失。
• 在高倍率压缩下，标量量化因聚合溢出而显著退化，尤其当SecAgg位宽相对于量化位宽过小时更为明显。
• 剪枝在压缩效率与精度之间提供了中等权衡，当掩码定期刷新时性能更优。
• 乘积量化可实现极高水平压缩且精度损失极小，在高倍率压缩下优于标量量化。
• 压缩算子更新频率显著影响精度，尤其在大块大小或小码书大小的乘积量化等激进压缩设置下更为明显。
• 通过将SecAgg位宽设置为至少比量化位宽大⌈log₂n_c⌉，可最小化标量量化中的溢出，其中n_c为客户端数量。