[论文解读] Private Learning on Networks

Shripad Gade, Nitin H. Vaidya|arXiv (Cornell University)|Dec 15, 2016

Privacy-Preserving Technologies in Data参考文献 50被引用 11

一句话总结

本文提出了一种针对网络中代理协作最小化私有、可能非凸函数之和的隐私保护分布式优化算法，且不泄露个体目标函数。通过使用基于随机混淆的隐私函数共享与双随机混合矩阵，该方法在满足顶点连通性约束条件下，确保收敛至全局最优解，同时证明攻击者无法区分可行的候选函数。

ABSTRACT

Continual data collection and widespread deployment of machine learning algorithms, particularly the distributed variants, have raised new privacy challenges. In a distributed machine learning scenario, the dataset is stored among several machines and they solve a distributed optimization problem to collectively learn the underlying model. We present a secure multi-party computation inspired privacy preserving distributed algorithm for optimizing a convex function consisting of several possibly non-convex functions. Each individual objective function is privately stored with an agent while the agents communicate model parameters with neighbor machines connected in a network. We show that our algorithm can correctly optimize the overall objective function and learn the underlying model accurately. We further prove that under a vertex connectivity condition on the topology, our algorithm preserves privacy of individual objective functions. We establish limits on the what a coalition of adversaries can learn by observing the messages and states shared over a network.

研究动机与目标

• 解决在敏感数据存储于联网代理的分布式机器学习中保护隐私的挑战。
• 开发一种方法，使代理能够在不暴露其私有本地函数的前提下协作优化全局目标。
• 在分布式优化设置中正式定义并实现个体目标函数的隐私保护。
• 证明当网络拓扑具备足够顶点连通性以抵御攻击者联盟时，隐私得以保持。
• 通过理论分析与仿真验证正确性、收敛性与隐私保护。

提出的方法

• 代理使用受多方安全计算启发的协议，通过具有双随机混合矩阵 B_k 的网络共享模型参数。
• 每个代理通过添加源自随机函数 R_I,J(x) 的随机函数 R_{i,j}(x) 对其私有目标函数 f_i(x) 进行混淆，确保聚合函数 f(x) 保持不变。
• 该算法采用单调递减且平方 summable 的步长 α_k = 1/(k + 0.0001) 进行迭代更新。
• 代理通过在网络中进行状态融合，使用基于一致性梯度下降规则更新其本地模型参数。
• 通过确保任意 f 个代理的联盟无法减少可行候选函数之间的模糊性来实现隐私保护，前提是网络的顶点连通性 > f。
• 该方法利用代数变换与聚合函数的不变性，同时保障正确性与隐私。

实验结果

研究问题

• RQ1 能否在正确最小化全局和的同时，使分布式优化算法保护个体目标函数的隐私？
• RQ2 何种网络拓扑条件可确保攻击者无法从共享消息中推断出私有函数？
• RQ3 如何对私有函数进行混淆，以确保聚合解保持不变且正确？
• RQ4 在分布式设置中，攻击者联盟在多大程度上可减少对私有函数的不确定性？
• RQ5 在隐私约束下，所提出的算法是否能收敛至真实的全局最优解？

主要发现

• 在仿真设置中，该算法正确收敛至全局最优解 x* = 0，对应聚合函数 f(x) = 2(x² + x⁴)。
• 迭代平均收敛至最优点，且与平均值的最大偏差随时间减小，表明代理之间达成共识。
• RMS 误差 η²_k 随迭代次数减少，证实了分布式算法的收敛性与稳定性。
• 真实梯度 ∇f_i(x) 与观测梯度 ∇f̂_i(x) 差异显著，阻止了攻击者对私有函数的估计。
• 混淆后的函数 f̂_i(x) 与原始函数 f_i(x) 显著不同，例如 f̂_1(x) = -3x - 4x² - 4x³ + 2x⁴，表明混淆效果显著。
• 在 f-容许图中，当顶点连通性 > f 时，隐私得以保护，确保对私有函数的任何猜测与观测数据均保持同等一致性。