[论文解读] Optimal Transport for Stationary Markov Chains via Policy Iteration

Kevin O’Connor, Kevin McGoff+1 more|arXiv (Cornell University)|Jun 14, 2020

Markov Chains and Monte Carlo Methods参考文献 65被引用 4

一句话总结

本文提出了一种用于平稳有限状态马尔可夫链的新型最优传输框架，称为最优转移耦合（Optimal Transition Coupling, OTC），通过利用马尔可夫决策过程和策略迭代，计算在保持马尔可夫性和平稳性结构的同时最小化长期平均成本的耦合。主要贡献包括一个可证明收敛的精确算法（ExactOTC）和一种快速的熵正则化变体（EntropicOTC），其每轮迭代的复杂度接近线性，能够在大规模状态空间上实现高效计算，并具备统计一致性保证。

ABSTRACT

We study the optimal transport problem for pairs of stationary finite-state Markov chains, with an emphasis on the computation of optimal transition couplings. Transition couplings are a constrained family of transport plans that capture the dynamics of Markov chains. Solutions of the optimal transition coupling (OTC) problem correspond to alignments of the two chains that minimize long-term average cost. We establish a connection between the OTC problem and Markov decision processes, and show that solutions of the OTC problem can be obtained via an adaptation of policy iteration. For settings with large state spaces, we develop a fast approximate algorithm based on an entropy-regularized version of the OTC problem, and provide bounds on its per-iteration complexity. We establish a stability result for both the regularized and unregularized algorithms, from which a statistical consistency result follows as a corollary. We validate our theoretical results empirically through a simulation study, demonstrating that the approximate algorithm exhibits faster overall runtime with low error. Finally, we extend the setting and application of our methods to hidden Markov models, and illustrate the potential use of the proposed algorithms in practice with an application to computer-generated music.

研究动机与目标

• 开发一种受约束的最优传输框架，尊重平稳马尔可夫链的动力学特性，实现具有时间依赖性的随机过程之间的对齐与比较。
• 解决在马尔可夫性和平稳性约束下求解最优传输问题的计算挑战，特别是针对大规模状态空间的情况。
• 通过基于观测的代价耦合隐藏链，将该框架扩展至隐马尔可夫模型（HMMs）。
• 建立所提算法的理论收敛性与稳定性，确保从有限样本数据中获得统计一致性。
• 设计一种可扩展、高效的算法，具备接近线性的每轮迭代复杂度，适用于实际应用。

提出的方法

• 将最优转移耦合（OTC）问题形式化为一个受约束的最优传输问题，其中运输计划必须保持两个马尔可夫链的转移动态和平稳性。
• 建立OTC问题与马尔可夫决策过程（MDPs）之间的联系，从而能够使用策略迭代求解。
• 提出ExactOTC（算法1），一种基于策略迭代的算法，可对不可约马尔可夫链在有限步内收敛至最优解。
• 引入EntropicOTC（算法6），一种正则化变体，通过在目标函数中增加熵项以提升计算效率，实现更快的迭代速度。
• 为EntropicOTC推导出接近线性的每轮迭代复杂度边界，与当前最优计算OT方法的复杂度水平相当。
• 通过OTC问题的稳定性分析，推导出基于有限样本的插补估计量的统计一致性。

实验结果

研究问题

• RQ1 能否通过强制执行转移动态和平稳性约束，有效将最优传输方法适配于平稳马尔可夫链？
• RQ2 如何高效求解OTC问题，特别是针对大规模状态空间？
• RQ3 所提出的正则化算法的计算复杂度是多少？其随状态空间规模的增长是否具有良好可扩展性？
• RQ4 该解对经验转移矩阵中的估计误差是否具有鲁棒性？从数据中是否能一致收敛？
• RQ5 能否通过耦合隐藏状态并引入观测代价，将该框架扩展至隐马尔可夫模型？

主要发现

• 对于不可约马尔可夫链，ExactOTC 可在有限次迭代内收敛至 OTC 问题的最优解，如定理7所证明。
• EntropicOTC 在耦合矩阵维度上实现了接近线性的每轮迭代复杂度，其复杂度边界由定理9和定理12建立。
• OTC 问题在输入转移矩阵发生扰动时具有稳定性，如定理13所形式化。
• 最优转移耦合及其期望代价的插补估计量的统计一致性，作为稳定性结果的推论（推论14）成立。
• 实验验证表明，与精确方法相比，EntropicOTC 在保持低误差的同时显著提升了运行速度。
• 该框架成功扩展至HMMs，并在计算机生成音乐生成任务中展示了实际应用效果。