[论文解读] Optimality guarantees for distributed statistical estimation

John C. Duchi, Michael I. Jordan+2 more|arXiv (Cornell University)|May 5, 2014

Distributed Sensor Networks and Detection Algorithms参考文献 40被引用 48

一句话总结

本文通过引入专为分布式设置设计的精细化极小极大风险度量，建立了分布式统计估计的通信复杂度下界。证明了最优估计性能——与集中式极小极大率相匹配——需要最低限度的通信量，该通信量通过新型数据处理不等式进行量化，并为非交互式与交互式协议下的位置估计和回归模型推导出紧致的下界。

ABSTRACT

Large data sets often require performing distributed statistical estimation, with a full data set split across multiple machines and limited communication between machines. To study such scenarios, we define and study some refinements of the classical minimax risk that apply to distributed settings, comparing to the performance of estimators with access to the entire data. Lower bounds on these quantities provide a precise characterization of the minimum amount of communication required to achieve the centralized minimax risk. We study two classes of distributed protocols: one in which machines send messages independently over channels without feedback, and a second allowing for interactive communication, in which a central server broadcasts the messages from a given machine to all other machines. We establish lower bounds for a variety of problems, including location estimation in several families and parameter estimation in different types of regression models. Our results include a novel class of quantitative data-processing inequalities used to characterize the effects of limited communication.

研究动机与目标

• 量化在分布式系统中实现集中式极小极大估计性能所需的最低通信量。
• 开发适用于分布式设置的精细化极小极大框架，区分集中式与分布式估计性能。
• 分析两种通信模型：非交互式（独立消息传输）与交互式（集中反馈与广播）。
• 为关键统计问题（包括位置估计和回归）推导通信的紧致下界。
• 引入并应用新型数据处理不等式，以表征通信约束导致的信息损失。

提出的方法

• 定义一种分布式极小极大风险，将具有完整数据访问权的估计器与具有受限、分布式数据及通信的估计器进行比较。
• 引入一种精细化的极小极大风险度量，以捕捉在通信约束下的最坏情况估计误差。
• 开发一类新型数据处理不等式，以在通信限制下界定本地数据与全局估计之间互信息的上界。
• 利用Pinsker不等式和KL散度，将总变差距离与通信链中的信息论量相关联。
• 应用互信息的链式法则与条件化，以分解多轮通信中的信息流。
• 在证明框架中建立变量与数据处理不等式之间的一一对应关系，以验证边界。

实验结果

研究问题

• RQ1 在分布式估计中，实现集中式极小极大风险所需的最低通信量是多少？
• RQ2 在统计估计中，非交互式与交互式通信协议在通信效率方面如何比较？
• RQ3 数据处理不等式能否被调整以表征通信约束在统计估计中导致的信息损失？
• RQ4 在指数族中，位置估计的通信复杂度的最紧下界是什么？
• RQ5 在分布式设置下，回归模型参数估计的通信复杂度如何随维度变化？

主要发现

• 本文建立了通信复杂度的下界，其与集中式极小极大率仅相差常数因子，表明低于该阈值时最优性能无法实现。
• 在非交互式协议下，指数族中的位置估计所需通信量为每参数 $ \Omega(d) $ 位，其中 $ d $ 为维度。
• 在交互式协议中，由于反馈与广播的存在，通信复杂度相比非交互式设置可降低一个对数因子。
• 所推导的数据处理不等式表明，本地数据与全局估计之间的互信息受KL散度与总变差距离函数的有界约束。
• 对于高斯分布均值的高维估计，通信复杂度被紧致地表征为 $ \Omega(d) $ 位，与信息论下界一致。
• 结果表明，即使采用最优协议，通信量也无法低于依赖于问题内在统计复杂度的阈值。