[论文解读] Prediction with a Short Memory

Vatsal Sharan, Sham M. Kakade+2 more|arXiv (Cornell University)|Dec 8, 2016

Machine Learning and Algorithms参考文献 48被引用 7

一句话总结

本文表明，对于一大类随机过程，仅需使用短记忆即可实现对未来观测的精确预测——具体而言，仅需最近的 $ O(I/\epsilon) $ 个观测值，其中 $ I $ 是过去与未来之间的互信息。本文建立了紧致的信息论和计算下界，证明对于具有 $ n $ 个状态的隐马尔可夫模型（HMM），长度为 $ \Theta(\log n / \epsilon) $ 的窗口在 KL 散度中达到 $ \epsilon $-误差时既必要也充分，且任何可行算法均需 $ d^{\Theta(\log n / \epsilon)} $ 个样本。

ABSTRACT

We consider the problem of predicting the next observation given a sequence of past observations, and consider the extent to which accurate prediction requires complex algorithms that explicitly leverage long-range dependencies. Perhaps surprisingly, our positive results show that for a broad class of sequences, there is an algorithm that predicts well on average, and bases its predictions only on the most recent few observation together with a set of simple summary statistics of the past observations. Specifically, we show that for any distribution over observations, if the mutual information between past observations and future observations is upper bounded by $I$, then a simple Markov model over the most recent $I/ε$ observations obtains expected KL error $ε$---and hence $\ell_1$ error $\sqrtε$---with respect to the optimal predictor that has access to the entire past and knows the data generating distribution. For a Hidden Markov Model with $n$ hidden states, $I$ is bounded by $\log n$, a quantity that does not depend on the mixing time, and we show that the trivial prediction algorithm based on the empirical frequencies of length $O(\log n/ε)$ windows of observations achieves this error, provided the length of the sequence is $d^{Ω(\log n/ε)}$, where $d$ is the size of the observation alphabet. We also establish that this result cannot be improved upon, even for the class of HMMs, in the following two senses: First, for HMMs with $n$ hidden states, a window length of $\log n/ε$ is information-theoretically necessary to achieve expected $\ell_1$ error $\sqrtε$. Second, the $d^{Θ(\log n/ε)}$ samples required to estimate the Markov model for an observation alphabet of size $d$ is necessary for any computationally tractable learning algorithm, assuming the hardness of strongly refuting a certain class of CSPs.

研究动机与目标

• 确定在一般条件下实现准确序列预测所需的最小记忆长度。
• 分析记忆长度与预测精度之间的权衡，以 KL 散度和 $ \ell_1 $ 误差为度量。
• 为隐马尔可夫模型中使用短窗口进行预测建立信息论下界与计算下界。
• 证明仅基于短窗口的简单经验频率估计可实现最优预测误差，而无需复杂的记忆结构。

提出的方法

• 提出一种仅基于最近 $ \ell $ 个观测值进行预测的马尔可夫模型，其中 $ \ell = O(I/\epsilon) $，以在期望 KL 散度中实现 $ \epsilon $-误差。
• 使用过去与未来之间的互信息 $ I $ 作为复杂度度量，以界定实现准确预测所需的最小记忆长度。
• 应用 Pinsker 不等式与 Jensen 不等式，将 KL 散度误差与 $ \ell_1 $ 误差关联，证明其精度可达 $ \sqrt{\epsilon} $。
• 通过构造一个困难实例建立下界：设计一个具有 $ n $ 个状态的 HMM，并对观测值进行随机排列，以模拟最坏情况下的预测。
• 利用 Chernoff 不等式与集中不等式，证明以高概率可获得足够多的短片段（长度为 $ \ell $），其汉明距离接近真实状态，从而实现准确预测。
• 证明在假设拒绝特定一类约束满足问题（CSP）困难的前提下，任何计算上可行的预测算法均需 $ d^{\Theta(\log n / \epsilon)} $ 个样本，才能准确估计马尔可夫模型。

实验结果

研究问题

• RQ1 与拥有完整记忆的最优预测器相比，马尔可夫模型实现 $ \epsilon $-误差预测所需的最小窗口长度是多少？
• RQ2 仅基于短观测窗口的简单经验频率估计能否实现接近最优的预测性能？
• RQ3 所需窗口长度是否依赖于混合时间，还是仅取决于过去与未来之间的互信息？
• RQ4 对于具有 $ n $ 个状态的 HMM，实现 KL 散度中 $ \epsilon $-误差所需的信息论最小窗口长度是多少？
• RQ5 任何可行学习算法为实现 HMM 预测中 $ \epsilon $-误差，其样本复杂度是多少？

主要发现

• 对于过去与未来之间互信息为 $ I $ 的任意分布，使用最近 $ O(I/\epsilon) $ 个观测值的马尔可夫模型，可实现期望 KL 误差为 $ \epsilon $。
• 对于具有 $ n $ 个隐状态的 HMM，互信息 $ I $ 的上界为 $ \log n $，因此长度为 $ O(\log n / \epsilon) $ 的窗口足以在 KL 散度中实现 $ \epsilon $-误差。
• 所需窗口长度 $ \Theta(\log n / \epsilon) $ 是 HMM 实现 KL 散度中 $ \epsilon $-误差的信息论下界。
• 在假设拒绝某类 CSP 困难的前提下，任何计算上可行的预测算法均需 $ d^{\Theta(\log n / \epsilon)} $ 个样本，才能准确估计马尔可夫模型。
• 预测的 $ \ell_1 $ 误差最多为 $ \sqrt{\epsilon} $，该结论由 KL 误差界通过 Pinsker 不等式推导得出。
• 结果是紧致的：不存在更短的窗口能实现 KL 散度中的 $ \epsilon $-误差，且在标准复杂度假设下，也不存在更少的样本能支持准确估计。