[论文解读] Private Learning on Networks: Part II

Shripad Gade, Nitin H. Vaidya|arXiv (Cornell University)|Mar 27, 2017

Privacy-Preserving Technologies in Data参考文献 35被引用 12

一句话总结

本文提出两种随机化分布式优化算法——RSS-NB 和 RSS-LB——通过结构化随机化提升网络化多智能体系统中的隐私保护。通过在通信过程中向状态估计添加相关噪声，算法在确保确定性收敛至全局最优解的同时，保护了单个智能体目标函数的隐私，尤其在特定网络连通性条件下表现优异。

ABSTRACT

This paper considers a distributed multi-agent optimization problem, with the global objective consisting of the sum of local objective functions of the agents. The agents solve the optimization problem using local computation and communication between adjacent agents in the network. We present two randomized iterative algorithms for distributed optimization. To improve privacy, our algorithms add "structured" randomization to the information exchanged between the agents. We prove deterministic correctness (in every execution) of the proposed algorithms despite the information being perturbed by noise with non-zero mean. We prove that a special case of a proposed algorithm (called function sharing) preserves privacy of individual polynomial objective functions under a suitable connectivity condition on the network topology.

研究动机与目标

• 解决分布式优化中智能体共享状态估计时可能暴露敏感本地数据的隐私泄露问题。
• 设计在状态信息受非零均值噪声扰动下仍能保持收敛的分布式优化算法。
• 为个体智能体的目标函数提供强隐私保障，尤其在多项式优化场景下。
• 通过在 MNIST 和 Reuters 等真实数据集上的实验，验证理论框架的有效性。
• 通过引入保持算法正确性的结构化随机化，实现隐私与收敛性的平衡。

提出的方法

• 提出 RSS-NB（网络平衡）和 RSS-LB（局部平衡）算法，在智能体间通信过程中向状态估计添加相关随机噪声。
• 采用结构化随机化，使噪声在智能体间保持相关性，从而在存在非零均值扰动的情况下仍能维持收敛性。
• 应用一种特殊情形——函数共享（FS）——其中扰动与状态相关，模拟目标函数的混淆。
• 利用网络拓扑特性——特别是连通性条件——确保在多项式优化中实现隐私保护。
• 通过李雅普诺夫分析和扰动有界性，证明即使在相关噪声下仍能实现确定性收敛。
• 利用有限时间误差界和利普希茨连续性，推导出形式为 $\mathcal{O}\left((1+\Delta^{2})\frac{\log(T)}{\sqrt{T}}\right)$ 的收敛速率。

实验结果

研究问题

• RQ1 当状态估计受到结构化、非零均值随机噪声扰动时，分布式优化算法能否保持确定性收敛？
• RQ2 在何种网络拓扑条件下，尽管存在信息交换，个体智能体的目标函数仍能保持隐私？
• RQ3 结构化随机化如何影响分布式学习任务中的收敛速率和最终精度？
• RQ4 所提出的算法能否在不牺牲优化性能的前提下实现强隐私保障？
• RQ5 分布式优化中隐私与收敛性之间的权衡是什么？如何进行定量分析？

主要发现

• RSS-NB 和 RSS-LB 算法即使在使用具有非零均值噪声的结构化随机化时，也能实现对全局最优解的确定性收敛。
• 函数共享（FS）变体在合适的网络连通性条件下，可保护个体多项式目标函数的隐私。
• 理论分析表明收敛速率为 $\mathcal{O}\left((1+\Delta^{2})\frac{\log(T)}{\sqrt{T}}\right)$，其中 $\Delta$ 表征噪声幅度。
• 在 MNIST 和 Reuters 数据集上的实验结果表明，即使加入随机化，模型精度仍保持较高，验证了理论收敛性和隐私主张。
• 算法在实现强隐私保护的同时，其性能与非私有基线方法在深度神经网络训练和逻辑回归任务中相当。
• 相关噪声的使用确保扰动不会损害收敛性，从而实现实用的隐私-收敛性权衡。