[论文解读] Wyner-Ziv Estimators: Efficient Distributed Mean Estimation with Side Information

Prathamesh Mayekar, Ananda Theertha Suresh+1 more|arXiv (Cornell University)|Nov 24, 2020

Wireless Communication Security Techniques参考文献 40被引用 6

一句话总结

本文提出了一种基于辅助信息的Wyner-Ziv估计器，用于实现通信高效的分布式均值估计，在辅助信息与数据之间距离有界时可实现近似最优性能。此外，还引入了一种基于相关采样的通用变体，适用于缺乏距离先验知识的场景，从而在大规模设置中实现稳健性能。

ABSTRACT

Communication efficient distributed mean estimation is an important primitive that arises in many distributed learning and optimization scenarios such as federated learning. Without any probabilistic assumptions on the underlying data, we study the problem of distributed mean estimation where the server has access to side information. We propose \emph{Wyner-Ziv estimators}, which are communication and computationally efficient and near-optimal when an upper bound for the distance between the side information and the data is known. As a corollary, we also show that our algorithms provide efficient schemes for the classic Wyner-Ziv problem in information theory. In a different direction, when there is no knowledge assumed about the distance between side information and the data, we present an alternative Wyner-Ziv estimator that uses correlated sampling. This latter setting offers {\em universal recovery guarantees}, and perhaps will be of interest in practice when the number of users is large and keeping track of the distances between the data and the side information may not be possible.

研究动机与目标

• 解决服务器拥有客户端数据辅助信息时的通信高效分布式均值估计问题。
• 设计在计算和通信上均高效的估计器，尤其适用于辅助信息与数据之间距离有界的场景。
• 在缺乏辅助信息与数据之间距离先验知识的场景下，提供通用的恢复保证。
• 将所提方法扩展至信息论中的经典Wyner-Ziv问题，证明其更广泛的应用潜力。

提出的方法

• 提出利用辅助信息以降低分布式均值估计通信成本的Wyner-Ziv估计器。
• 在辅助信息与数据之间距离有界的假设下，实现近似最优的估计性能。
• 在通用变体中采用相关采样技术，实现在未知数据与辅助信息之间距离情况下的恢复能力。
• 设计在计算和通信上均高效的估计器，适用于大规模分布式系统。
• 应用分布式源编码的原理，构建在保持精度的同时最小化通信量的估计器。
• 推导了在有界距离和通用两种设置下的理论保证，确保鲁棒性与高效性。

实验结果

研究问题

• RQ1 当服务器拥有客户端数据的辅助信息时，如何使分布式均值估计更具通信效率？
• RQ2 在辅助信息与数据之间距离有界的情况下，通信成本与估计精度之间的最优权衡是什么？
• RQ3 能否设计一种无需事先了解辅助信息与数据之间距离的通用估计器，且性能表现良好？
• RQ4 所提出的估计器与信息论中的经典Wyner-Ziv问题有何关联？
• RQ5 在有界与通用两种设置下，所提估计器的理论性能边界是什么？

主要发现

• 当已知辅助信息与数据之间距离的上界时，所提出的Wyner-Ziv估计器可实现近似最优的估计性能。
• 估计器在通信和计算上均高效，适用于大规模分布式学习系统（如联邦学习）。
• 基于相关采样的通用变体可在无需事先了解数据与辅助信息之间距离的情况下，提供稳健的恢复保证。
• 该方法可扩展至信息论中的经典Wyner-Ziv问题，证明其理论相关性不仅限于机器学习领域。
• 理论分析表明，估计器在有界与通用两种设置下均能保持优异性能，且通信开销极低。