[论文解读] Privacy Preservation in Distributed Subgradient Optimization Algorithms

Youcheng Lou, Lean Yu+1 more|arXiv (Cornell University)|Dec 30, 2015

Distributed Control Multi-Agent Systems参考文献 20被引用 4

一句话总结

该论文提出了一种新颖的分布式次梯度投影异步优化算法，无需依赖密码学技术即可确保隐私保护。通过引入异步更新机制和凸投影集，该算法可防止恶意代理推断其他代理的次梯度，同时在标准假设下实现最优收敛速率。

ABSTRACT

Privacy preservation is becoming an increasingly important issue in data mining and machine learning. In this paper, we consider the privacy preserving features of distributed subgradient optimization algorithms. We first show that a well-known distributed subgradient synchronous optimization algorithm, in which all agents make their optimization updates simultaneously at all times, is not privacy preserving in the sense that the malicious agent can learn other agents' subgradients asymptotically. Then we propose a distributed subgradient projection asynchronous optimization algorithm without relying on any existing privacy preservation technique, where agents can exchange data between neighbors directly. In contrast to synchronous algorithms, in the new asynchronous algorithm agents make their optimization updates asynchronously. The introduced projection operation and asynchronous optimization mechanism can guarantee that the proposed asynchronous optimization algorithm is privacy preserving. Moreover, we also establish the optimal convergence of the newly proposed algorithm. The proposed privacy preservation techniques shed light on developing other privacy preserving distributed optimization algorithms.

研究动机与目标

• 解决分布式次梯度优化中的关键隐私泄露问题，即在同步算法中恶意代理可推断敏感次梯度。
• 设计一种非密码学的隐私保护机制，不依赖于噪声注入或差分隐私。
• 确保即使在恶意代理主动监控和记录数据交换的对抗性条件下，代理的私有次梯度仍能保持受保护。
• 在较弱假设下（包括有界次梯度和联合网络连通性）建立所提异步算法的最优收敛性。
• 为基于类似原理开发其他隐私保护的分布式优化算法提供基础。

提出的方法

• 提出一种异步分布式次梯度算法，其中代理根据自身的本地更新序列独立更新其状态。
• 采用凸投影集来约束状态更新，从而内在地限制关于次梯度的信息泄露。
• 使用异步更新机制，代理无需同步，从而减少恶意代理在时间步之间关联数据的机会。
• 应用递减步长规则，并利用一致性平均化方法，确保收敛至最优解。
• 通过李雅普诺夫型函数分析收敛性，并建立误差项的可 summability 性以证明收敛性。
• 证明次梯度相关误差项的和收敛，意味着算法在保持隐私的同时渐近逼近最优解。

实验结果

研究问题

• RQ1 能否设计一种分布式次梯度算法，使得恶意代理无法渐近重构其他代理的次梯度？
• RQ2 与同步版本相比，更新过程中的异步性是否内在地增强了隐私保护？
• RQ3 是否可以在不依赖噪声注入或密码原 primitive 的情况下实现隐私保护？
• RQ4 在异步、隐私保护的分布式优化框架中，哪些条件可确保最优收敛？
• RQ5 所提算法在隐私和收敛性方面对对抗性行为是否具有鲁棒性？

主要发现

• 众所周知的同步分布式次梯度算法不具备隐私保护特性，因为恶意代理几乎对所有邻接矩阵均可渐近学习到其他代理的次梯度。
• 所提出的结合凸投影集的异步算法能有效防止恶意代理推断次梯度，即使其观察到所有传输的数据。
• 该算法实现了最优收敛速率，次梯度误差之和随时间收敛至零。
• 收敛性证明表明，到最优解的平方距离的极限存在且有限，且一致性误差随时间渐近消失。
• 在有界次梯度和联合网络连通性的条件下，该算法仍能保持收敛，且误差项在时间上可 summability。
• 所提方法为现有隐私保护技术提供了一种非密码学、无噪声的替代方案，避免了高方差噪声导致的最优性退化。