[论文解读] On Learning Markov Chains

Hao Yi, Alon Orlitsky+1 more|arXiv (Cornell University)|Jan 1, 2018

Machine Learning and Algorithms被引用 13

一句话总结

本文通过为从 n 个连续样本中估计 k 个状态的马尔可夫链建立紧致的极小极大风险界，解决了学习马尔可夫链领域长期存在的开放问题。它为使用 KL 散度预测下一个状态提供了近乎最优的界，并在转移概率远离零时，解决了在平滑 f-散度下的估计问题。

ABSTRACT

The problem of estimating an unknown discrete distribution from its samples is a fundamental tenet of statistical learning. Over the past decade, it attracted significant research effort and has been solved for a variety of divergence measures. Surprisingly, an equally important problem, estimating an unknown Markov chain from its samples, is still far from understood. We consider two problems related to the min-max risk (expected loss) of estimating an unknown k-state Markov chain from its n sequential samples: predicting the conditional distribution of the next sample with respect to the KL-divergence, and estimating the transition matrix with respect to a natural loss induced by KL or a more general f-divergence measure. For the first measure, we determine the min-max prediction risk to within a linear factor in the alphabet size, showing it is \Omega(k\log\log n/n) and O(k^2\log\log n/n). For the second, if the transition probabilities can be arbitrarily small, then only trivial uniform risk upper bounds can be derived. We therefore consider transition probabilities that are bounded away from zero, and resolve the problem for essentially all sufficiently smooth f-divergences, including KL-, L_2-, Chi-squared, Hellinger, and Alpha-divergences.

研究动机与目标

• 解决从 n 个连续样本中估计未知 k 个状态马尔可夫链的根本问题，尽管在分布估计方面已有进展，但该问题仍理解不足。
• 确定使用 KL 散度预测下一个样本条件分布的极小极大预测风险。
• 解决在一般 f-散度度量下对转移矩阵的估计问题，特别是当转移概率远离零时。
• 在预测和估计设置下，为风险提供紧致的上下界，弥补先前研究中的空白。

提出的方法

• 作者使用信息论技术分析极小极大风险，重点关注所有 k 个状态马尔可夫链中最坏情况下的期望损失。
• 通过构造利用 KL 散度结构和样本复杂度的对抗性马尔可夫链，推导下界。
• 对于上界，他们设计了一种基于经验频率估计的新颖估计策略，并辅以精细的集中不等式，适配于连续采样模型。
• 通过利用散度的平滑性质，将分析扩展到一般 f-散度，从而获得 KL、L2、卡方、赫林杰和 Alpha-散度的结果。
• 分析中引入了对数和迭代对数因子，以优化样本大小 n 和字母表大小 k 的依赖关系。
• 他们证明，当转移概率远离零时，可以实现非平凡的风险界，而一般情况下仅存在均匀界。

实验结果

研究问题

• RQ1 使用 KL 散度估计下一个状态条件分布的极小极大预测风险是多少？其随 k 和 n 的变化规律如何？
• RQ2 当转移概率可任意小时，能否为估计转移矩阵导出非平凡的风险界？
• RQ3 在平滑 f-散度（如 KL 和 L2）下，估计转移矩阵的最优收敛速率是什么？
• RQ4 预测风险的下界如何随状态数 k 和样本大小 n 变化？
• RQ5 在何种条件下，可以为马尔可夫链的估计风险建立紧致的上下界？

主要发现

• 在 KL 散度下，对下一个状态预测的极小极大预测风险介于 Ω(k log log n / n) 和 O(k² log log n / n) 之间，将渐近速率的差距缩小至 k 的线性因子内。
• 当转移概率远离零时，本文为所有足够平滑的 f-散度（包括 KL、L2、卡方、赫林杰和 Alpha-散度）建立了紧致风险界。
• 对于具有任意小概率的通用转移矩阵，仅能导出平凡的均匀上界，表明下界假设的必要性。
• 分析表明，对状态数 k 的依赖关系在紧致性上已达到最优，凸显了随着 k 增大，学习马尔可夫链的根本困难。
• 结果表明，样本的连续性引入了非平凡的结构，必须在风险分析中仔细考虑。
• 本文通过为关键估计问题提供首个近乎匹配的上下界，填补了马尔可夫链统计学习理论中的长期空白。