[论文解读] On the Total Variation Distance of Labelled Markov Chains

Taolue Chen, Stefan Kiefer|arXiv (Cornell University)|May 12, 2014

DNA and Biological Computing参考文献 10被引用 7

一句话总结

本文提出了一个理论与算法框架，用于计算两个标记马尔可夫链（LMCs）之间的总变差距离，表明距离-1问题（即几乎必然可区分性）可在多项式时间内判定，并提供一种可实现任意精度逼近的算法。此外，本文证明了阈值问题为NP难，且难于平方根和问题，并建立了与伯努利卷积的联系。

ABSTRACT

Labelled Markov chains (LMCs) are widely used in probabilistic verification, speech recognition, computational biology, and many other fields. Checking two LMCs for equivalence is a classical problem subject to extensive studies, while the total variation distance provides a natural measure for the "inequivalence" of two LMCs: it is the maximum difference between probabilities that the LMCs assign to the same event. In this paper we develop a theory of the total variation distance between two LMCs, with emphasis on the algorithmic aspects: (1) we provide a polynomial-time algorithm for determining whether two LMCs have distance 1, i.e., whether they can almost always be distinguished; (2) we provide an algorithm for approximating the distance with arbitrary precision; and (3) we show that the threshold problem, i.e., whether the distance exceeds a given threshold, is NP-hard and hard for the square-root-sum problem. We also make a connection between the total variation distance and Bernoulli convolutions.

研究动机与目标

• 将总变差距离形式化并作为两种标记马尔可夫链（LMCs）之间语义差异的度量进行分析，超越语言等价性。
• 解决在验证和匿名性等场景中，量化两个概率系统可区分程度的实际与理论需求。
• 研究在LMCs中计算和判定总变差距离相关性质的算法复杂度，特别是阈值问题。
• 探讨距离的数学结构，包括最大化事件的存在性以及距离为无理数的可能性。
• 建立总变差距离与经典数学对象（如伯努利卷积）之间的联系，以获得更深层次的理论洞察。

提出的方法

• 将两个LMCs之间的总变差距离定义为无限字串空间Σ^ω中所有可测事件上的上确界，以捕捉其概率分配差异的最大值。
• 利用鞅收敛定理证明最大化事件始终存在，从而确保距离的定义良好且可实现。
• 提出一种基于派生状态空间中的可达性分析与线性规划可行性检查的多项式时间算法，用于判定两个LMCs的总变差距离是否恰好为1。
• 构造两条序列——基于前缀字串的下界与上界——分别从下方和上方收敛至真实距离，从而实现任意精度的逼近。
• 通过在构造的二分状态空间上进行图可达性分析与子分布分析，检查区分性事件的存在性。
• 通过归约至平方根和问题，证明了阈值问题的难解性，并利用计算几何与数论中已知难题的归约，证明了其NP难性。

实验结果

研究问题

• RQ1 能否以保证精度的方式，算法化地计算或逼近两个LMCs之间的总变差距离？
• RQ2 是否存在一个多项式时间算法，用于判定两个LMCs是否几乎必然可区分（即距离为1）？
• RQ3 判定总变差距离是否超过给定有理数阈值的阈值问题的计算复杂度是什么？
• RQ4 两个LMCs之间的总变差距离是否总是有理数或代数数，还是可能为无理数？
• RQ5 LMCs的总变差距离与伯努利卷积等经典数学对象之间是否存在理论联系？

主要发现

• 两个LMCs之间的总变差距离总能由某个可测事件实现，且此类最大化事件可显式构造。
• 存在一个基于可达性与子分布上线性规划的多项式时间算法，用于判定两个LMCs的总变差距离是否恰好为1。
• 存在一种算法，通过迭代使用无限字串的有限前缀来精炼边界，从而实现对总变差距离的任意精度逼近。
• 阈值问题——即判定距离是否超过给定有理数阈值——为NP难，且难于平方根和问题，表明其具有高度的计算复杂度。
• 总变差距离可以是无理数，如基于伯努利卷积的构造所示，说明距离不一定是代数数。
• 本文建立了LMCs总变差距离与伯努利卷积理论之间的非平凡联系，暗示其与数论和分形几何存在深层数学关联。