[论文解读] Testing Symmetric Markov Chains from a Single Trajectory

Constantinos Daskalakis, Nishanth Dikkala+1 more|arXiv (Cornell University)|Apr 22, 2017

Machine Learning and Algorithms被引用 11

一句话总结

本文提出了一种新颖的框架，用于仅使用单条轨迹测试对称马尔可夫链的身份，提出了一种基于轨迹之间总变差距离缩放的新差异概念。该框架提供了高效的测试算法，并在对数因子范围内给出了紧致的样本复杂度界，表明$\tilde{O}(\text{HitT}_Q \times \text{polylog}(\text{HitT}_Q) + n/\varepsilon)$个样本已足够，且在某些条件下存在匹配的$\tilde{\theta}(n/\varepsilon)$下界。

ABSTRACT

Classical distribution testing assumes access to i.i.d. samples from the distribution that is being tested. We initiate the study of Markov chain testing, assuming access to a single trajectory of a Markov Chain. In particular, we observe a single trajectory X0,...,Xt,... of an unknown, symmetric, and finite state Markov Chain M. We do not control the starting state X0, and we cannot restart the chain. Given our single trajectory, the goal is to test whether M is identical to a model Markov Chain M0 , or far from it under an appropriate notion of difference. We propose a measure of difference between two Markov chains, motivated by the early work of Kazakos [Kaz78], which captures the scaling behavior of the total variation distance between trajectories sampled from the Markov chains as the length of these trajectories grows. We provide efficient testers and information-theoretic lower bounds for testing identity of symmetric Markov chains under our proposed measure of difference, which are tight up to logarithmic factors if the hitting times of the model chain M0 is O(n) in the size of the state space n.

研究动机与目标

• 解决仅能获得单条、不可重启轨迹时测试马尔可夫链身份的挑战。
• 定义一种有意义的马尔可夫链之间差异的概念，以捕捉在最坏起始状态下的不可区分性。
• 在该新框架下，建立高效的测试算法和信息论下界。
• 分析对称马尔可夫链身份测试的样本复杂度，特别是与 hitting 时间和链结构的关系。
• 为未来关于两样本测试、凸组合链以及时间聚合链的研究奠定基础。

提出的方法

• 基于轨迹分布之间总变差距离的渐近缩放，提出一种新的马尔可夫链之间距离度量。
• 通过从链的转移矩阵导出的矩阵的谱间隙，对距离进行谱表征。
• 对轨迹词应用集中与碰撞分析，以在不同参数设置下界定向模型之间的统计距离。
• 通过归约到词生成与碰撞计数，利用概率论论证和马尔可夫不等式推导下界。
• 构造转移矩阵的显式分布以模拟对抗性链，并在某些条件下证明不可区分性。
• 利用该框架推导出样本复杂度的上下界，表明结果在对数因子范围内是紧致的。

实验结果

研究问题

• RQ1 当仅能获得单条轨迹时，对称马尔可夫链身份测试的最优样本复杂度是什么？
• RQ2 模型链的 hitting 时间如何影响身份测试的样本复杂度？
• RQ3 所提出的距离度量能否捕捉在最坏起始状态下从单条轨迹出发的不可区分性？
• RQ4 链之间的距离与它们的$k$-步转移矩阵之间的距离有何关系？
• RQ5 该框架能否扩展到两样本测试和链的凸组合？

主要发现

• 所提出的距离度量捕捉了轨迹之间总变差距离的渐近缩放，使得在单条轨迹观测下能够定义有意义的差异概念。
• 设计了一种高效的 identity 测试器，其样本复杂度为$\tilde{O}(\text{HitT}_Q \times \text{polylog}(\text{HitT}_Q) + n/\varepsilon)$，当$\text{HitT}_Q = \tilde{O}(n)$时，与下界在对数因子范围内匹配。
• 建立了样本复杂度的下界$\tilde{\theta}(n/\varepsilon)$，表明在 hitting 时间假设下，$n/\varepsilon$项是紧致的。
• 该框架表明，即使具有相同平稳分布但转移结构不同的链，若起始状态位于同一连通类中，则可能从单条轨迹中不可区分。
• 分析表明，轨迹词中的碰撞次数可用于区分不同模型，其中 I 型和 II 型碰撞提供了关键的统计差异。
• 本文推测，上界中 hitting 时间的依赖关系或可被移除，暗示$\tilde{\theta}(n/\varepsilon)$才是真实的样本复杂度。