[论文解读] On the Arithmetic and Geometric Fusion of Beliefs for Distributed Inference

Mert Kayaalp, Yunus İnan+2 more|arXiv (Cornell University)|Apr 28, 2022

Distributed Sensor Networks and Detection Algorithms被引用 5

一句话总结

本文分析了在分布式假设检验中使用算术平均与几何平均进行信念融合时信念向量的渐近学习速率。证明了几何平均相较于算术平均能实现更快的指数学习速率，且该差距由网络连通性和信息多样性量化，并为特殊网络拓扑结构提供了闭式表达式。

ABSTRACT

We study the asymptotic learning rates under linear and log-linear combination rules of belief vectors in a distributed hypothesis testing problem. We show that under both combination strategies, agents are able to learn the truth exponentially fast, with a faster rate under log-linear fusion. We examine the gap between the rates in terms of network connectivity and information diversity. We also provide closed-form expressions for special cases involving federated architectures and exchangeable networks.

研究动机与目标

• 分析在分布式假设检验中，线性（算术）与对数线性（几何）组合规则下信念向量的渐近学习速率。
• 比较算术与几何融合策略在真理学习收敛速度上的差异。
• 从网络连通性和信息多样性角度，量化两种融合方法之间的性能差距。
• 推导特殊情形下的学习速率闭式表达式，包括联邦架构和可交换网络。

提出的方法

• 使用次可加遍历理论，分析在算术与几何融合规则下信念向量范数的渐近衰减速率。
• 应用次可加遍历定理，建立信念更新矩阵对数范数的几乎必然收敛性。
• 采用KKT条件与变分分析，刻画几何平均下最优信念融合权重的特性。
• 通过利用对称性与Perron-Frobenius理论，推导可交换网络与联邦架构下的学习速率闭式表达式。
• 使用Jensen不等式证明，除非所有代理具有相同信息，否则几何融合优于算术融合。
• 分析组合矩阵的Perron向量在几何融合下决定渐近学习速率的作用。

实验结果

研究问题

• RQ1 在分布式假设检验中，算术与几何信念融合的渐近学习速率如何比较？
• RQ2 网络连通性和信息多样性对算术与几何融合之间性能差距有何影响？
• RQ3 在何种条件下，算术与几何融合的学習速率相同？
• RQ4 在联邦与可交换网络拓扑结构下，学习速率的闭式表达式是什么？
• RQ5 组合矩阵的结构如何影响几何融合下信念向量的收敛速度？

主要发现

• 在一般网络条件下，几何平均在分布式假设检验中实现了比算术平均更快的指数学习速率。
• 几何与算术融合之间的性能差距与网络连通性和信息多样性定量相关，在连通性较差或信息多样性较低的网络中差距更大。
• 仅当所有代理具有相同信息时（即其似然比几乎必然相等），算术与几何融合才产生相同的学習速率。
• 在可交换网络中，几何融合下的学习速率由共同似然比的对数的负期望给出。
• 对于联邦架构，几何融合下的学习速率也以闭式表达，即代理对数似然比的负期望。
• 在几何融合下，渐近学习速率由组合矩阵的Perron向量与各代理似然比分布共同决定。