[论文解读] Optimal Trade-offs in Multi-Processor Approximate Message Passing

Junan Zhu, Dror Baron+1 more|arXiv (Cornell University)|Jan 15, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用 3

一句话总结

该论文提出了一种基于动态规划的多处理器近似消息传递（MP-AMP）系统最优编码速率分配策略，旨在最小化组合计算与通信成本，同时实现目标估计质量。证明了在过剩均方误差（EMSE）较低的范围内，最优编码速率随迭代次数近似线性增长，且总成本呈 $O(\log^2(1/\text{EMSE}))$ 规模，从而在分布式线性反问题中实现了性能、延迟与带宽之间的高效权衡。

ABSTRACT

We consider large-scale linear inverse problems in Bayesian settings. We follow a recent line of work that applies the approximate message passing (AMP) framework to multi-processor (MP) computational systems, where each processor node stores and processes a subset of rows of the measurement matrix along with corresponding measurements. In each MP-AMP iteration, nodes of the MP system and its fusion center exchange lossily compressed messages pertaining to their estimates of the input. In this setup, we derive the optimal per-iteration coding rates using dynamic programming. We analyze the excess mean squared error (EMSE) beyond the minimum mean squared error (MMSE), and prove that, in the limit of low EMSE, the optimal coding rates increase approximately linearly per iteration. Additionally, we obtain that the combined cost of computation and communication scales with the desired estimation quality according to $O(\log^2(1/ ext{EMSE}))$. Finally, we study trade-offs between the physical costs of the estimation process including computation time, communication loads, and the estimation quality as a multi-objective optimization problem, and characterize the properties of the Pareto optimal surfaces.

研究动机与目标

• 在实现期望估计质量的前提下，最小化多处理器近似消息传递（MP-AMP）系统中计算与通信的组合成本。
• 推导MP-AMP中处理器节点与融合中心之间交换消息的逐次迭代损失压缩最优编码速率。
• 将估计质量（EMSE）、计算时间与通信负载之间的权衡建模为多目标优化问题。
• 在低-EMSE范围内，建立总成本随期望估计精度（EMSE）变化的理论标度律。

提出的方法

• 使用动态规划计算最小化总成本（计算+通信）的最优编码速率序列，针对给定的目标EMSE。
• 应用率失真理论原理，对MP-AMP中交换消息的有损压缩进行建模，同时考虑误差在迭代间的传播。
• 在低-EMSE范围内推导出凸优化公式，实现对最优编码速率演化的解析表征。
• 采用状态演化形式化方法，建模MP-AMP的均方误差动态特性，并量化相对于最小可能值（MMSE）的过剩均方误差（EMSE）。
• 利用泰勒级数近似与渐近分析，推导出在低-EMSE极限下最优编码速率的线性增长行为。
• 表征多目标优化问题的Pareto最优表面，涉及估计质量、计算与通信。

实验结果

研究问题

• RQ1 在MP-AMP中，为实现给定目标估计质量，最小化计算与通信组合成本的最优编码速率序列是什么？
• RQ2 在低-EMSE范围内，最优编码速率如何随期望估计精度（EMSE）变化而缩放？
• RQ3 在MP-AMP系统中，总成本（计算+通信）随期望EMSE变化的理论标度是什么？
• RQ4 在分布式MP-AMP系统中，估计误差（EMSE）与通信负载在各次迭代中如何相互作用？
• RQ5 在计算时间、通信负载与估计质量之间的多目标权衡中，Pareto最优表面的结构是什么？

主要发现

• 在低-EMSE范围内，最优编码速率序列随迭代次数近似线性增长，理论增长率为每迭代 $\frac{1}{2}\log_2\left(\frac{1}{\theta}\right)$。
• 在低-EMSE极限下，计算与通信的组合成本呈 $O(\log^2(1/\text{EMSE}))$ 标度，显著优于线性标度。
• 通过动态规划推导出每次迭代的最优编码速率，并证明其在固定EMSE约束下可全局最小化总成本。
• 在低-EMSE范围内，连续迭代间最优失真水平的比值收敛于 $\theta$，其中 $\theta$ 为状态演化方差的衰减因子。
• 第 $t$ 次迭代的最优EMSE为 $\epsilon_t^* = \frac{M}{N}\widetilde{u}_t^*$，且当 $t \to \infty$ 时，比值 $\frac{D_t^*}{\widetilde{u}_t^*}$ 趋近于零，表明相对失真增长逐渐减小。
• 分析表明，最优编码速率序列对压缩量化边界 $C = \pm B$ 的选择不敏感，其主导行为受极值所限制。