[论文解读] On Relationship between Primal-Dual Method of Multipliers and Kalman Filter

Guoqiang Zhang, W. Bastiaan Kleijn+1 more|arXiv (Cornell University)|Aug 23, 2017

Cybersecurity and Information Systems被引用 4

一句话总结

该论文通过证明：当将增广链图（representing a linear state-space model）上的最大似然估计问题应用PDMM时，在适当参数选择下，PDMM产生的更新方程与卡尔曼滤波完全相同，从而建立了PDMM与卡尔曼滤波之间的理论等价性。主要贡献在于首次形式化建立了分布式优化与最优估计之间的联系，并证明了PDMM在树状图结构上的有限收敛性。

ABSTRACT

Recently the primal-dual method of multipliers (PDMM), a novel distributed optimization method, was proposed for solving a general class of decomposable convex optimizations over graphic models. In this work, we first study the convergence properties of PDMM for decomposable quadratic optimizations over tree-structured graphs. We show that with proper parameter selection, PDMM converges to its optimal solution in finite number of iterations. We then apply PDMM for the causal estimation problem over a statistical linear state-space model. We show that PDMM and the Kalman filter have the same update expressions, where PDMM can be interpreted as solving a sequence of quadratic optimizations over a growing chain graph.

研究动机与目标

• 研究PDMM在树状图结构上的可分解二次优化问题中的收敛行为。
• 探索PDMM（一种分布式优化方法）与卡尔曼滤波（一种经典估计算法）之间的联系。
• 证明PDMM可被解释为在由状态空间模型导出的不断增长的链图上求解一系列二次优化问题。
• 建立PDMM产生与卡尔曼滤波相同更新动态的条件。
• 展示通过适当的参数选择，PDMM可在树状图结构的二次问题上实现有限收敛。

提出的方法

• 将线性状态空间模型中的最大似然估计问题表述为在不断增长的链图上的可分解二次优化问题。
• 将PDMM应用于重构后的优化问题，将每个时间步视为链状图模型中的一个节点。
• 采用使PDMM更新规则与卡尔曼滤波的预测和更新步骤对齐的参数选择。
• 利用矩阵恒等式和协方差矩阵的性质，推导出PDMM与卡尔曼滤波更新方程之间的等价性。
• 运用变分分析和矩阵求逆引理（如引理3）简化并等价化PDMM与卡尔曼滤波推导出的表达式。
• 通过代数推导验证等价性，表明PDMM中的状态估计和误差协方差更新与卡尔曼滤波完全一致。

实验结果

研究问题

• RQ1 PDMM是否能在树状图结构的二次优化问题上实现有限收敛？
• RQ2 PDMM的更新规则与卡尔曼滤波之间是否存在正式的数学等价性？
• RQ3 卡尔曼滤波的估计过程如何通过PDMM被解释为一系列分布式优化步骤？
• RQ4 PDMM中的哪些参数选择可导致与卡尔曼滤波相同的动态行为？
• RQ5 状态空间模型的结构（作为增长链图）是否能实现PDMM的有限收敛？

主要发现

• 在适当参数选择下，PDMM在树状图结构上的可分解二次优化问题中，可在有限次迭代内收敛至最优解。
• 当应用于线性状态空间模型时，PDMM在温和条件下产生与卡尔曼滤波相同的最优状态估计和误差协方差更新方程。
• 当优化问题被重构为在增长链图上的一系列二次规划时，卡尔曼滤波的预测与更新步骤在数学上等价于PDMM的更新步骤。
• 该等价性通过矩阵代数建立，包括使用矩阵求逆引理和协方差传播恒等式。
• PDMM的公式化为卡尔曼滤波提供了一种新的优化理论解释：即卡尔曼滤波是最大似然估计问题的分布式解。
• 在高斯噪声和线性状态空间动力学的假设下，该等价性成立，证实了两种方法在此设定下的最优性。