[论文解读] Privacy-Preserving Distributed Projection LMS for Linear Multitask Networks

Chengcheng Wang, Wee Peng Tay+2 more|arXiv (Cornell University)|Oct 12, 2020

Indoor and Outdoor Localization Technologies参考文献 66被引用 6

一句话总结

本文提出了一种用于线性多任务网络的隐私保护分布式投影最小均方（LMS）算法，其中各智能体通过在共享前向中间估计中添加自适应的零均值噪声来保护其本地参数。该方法在网络均方偏差（MSD）与推理隐私之间实现权衡，实现了在精度损失最小情况下的隐私性提升，尤其在密集网络中表现更优。

ABSTRACT

We develop a privacy-preserving distributed projection least mean squares (LMS) strategy over linear multitask networks, where agents' local parameters of interest or tasks are linearly related. Each agent is interested in not only improving its local inference performance via in-network cooperation with neighboring agents, but also protecting its own individual task against privacy leakage. In our proposed strategy, at each time instant, each agent sends a noisy estimate, which is its local intermediate estimate corrupted by a zero-mean additive noise, to its neighboring agents. We derive a sufficient condition to determine the amount of noise to add to each agent's intermediate estimate to achieve an optimal trade-off between the network mean-square-deviation and an inference privacy constraint. We propose a distributed and adaptive strategy to compute the additive noise powers, and study the mean and mean-square behaviors and privacy-preserving performance of the proposed strategy. Simulation results demonstrate that our strategy is able to balance the trade-off between estimation accuracy and privacy preservation.

研究动机与目标

• 解决在分布式多任务网络中保护个体智能体本地参数免受隐私泄露的挑战。
• 开发一种分布式策略，实现在网络内协作的同时保护推理隐私。
• 平衡估计精度（以网络MSD衡量）与隐私保护（以邻居对本地参数的估计误差衡量）。
• 设计一种完全分布式且自适应的机制，为每个智能体基于其协方差矩阵动态计算时变噪声功率。

提出的方法

• 智能体共享带有噪声的中间估计，其中噪声为零均值，并在传输前添加到其本地估计中。
• 每个智能体的噪声功率基于其本地协方差矩阵和隐私阈值δk自适应计算。
• 推导出一个充分条件，以确保满足隐私约束的同时最小化网络MSD的退化。
• 算法采用效用-隐私优化框架，确定每个智能体的最优噪声方差。
• 该方法完全分布式且自适应，无需中心协调或对全局网络统计信息的先验知识。
• 理论分析包括均值和均方行为分析，以及隐私保护性能评估。

实验结果

研究问题

• RQ1 在多任务网络中，智能体如何通过协作提升估计精度，同时防止邻居通过推理攻击获取其个体任务信息？
• RQ2 在估计精度（MSD）与推理隐私之间，最优的加性噪声量是多少？
• RQ3 如何在无需全局知识的情况下，自适应且分布式地为每个智能体计算噪声功率？
• RQ4 所提策略在不同网络拓扑（如线性网络与密集网络）中的性能表现如何？
• RQ5 该算法能否跟踪底层参数统计随时间的变化，例如信噪比（SNR）的波动？

主要发现

• 所提出的ATP(δ)算法在仅带来适度网络MSD增加的情况下，实现了显著的隐私增益，尤其在密集网络中表现突出。
• 在密集网络中，隐私增益与精度损失的比值为0.86，而在线性网络中仅为0.09，表明在拓扑更丰富的环境中隐私效率更高。
• 当i=75时，SNR增加，算法成功跟踪协方差矩阵Wkk的变化，并相应调整噪声功率。
• 由于噪声功率提高，网络MSD在第二阶段上升，这与自适应噪声机制一致。
• 在整个跟踪阶段，网络推理隐私误差保持稳定且较低，证实了持续的隐私保护能力。
• 理论分析表明，噪声功率的充分条件可同时确保隐私约束和有界估计误差。