[论文解读] Predictive Information

William Bialek, Naftali Tishby|ArXiv.org|Feb 25, 1999

Statistical Mechanics and Entropy被引用 26

一句话总结

本文引入预测信息作为时间序列复杂性的度量，定义为过去与未来数据流之间的互信息。研究表明，预测信息的发散亚可加分量在不变性原理下唯一地量化了模型复杂性，提供了一种一致的信息论复杂性度量，能够保持对局部信号变换的不变性，从而反映动力学的丰富性。

ABSTRACT

Observations on the past provide some hints about what will happen in the future, and this can be quantified using information theory. The ``predictive information'' defined in this way has connections to measures of complexity that have been proposed both in the study of dynamical systems and in mathematical statistics. In particular, the predictive information diverges when the observed data stream allows us to learn an increasingly precise model for the dynamics that generate the data, and the structure of this divergence measures the complexity of the model. We argue that divergent contributions to the predictive information provide the only measure of complexity or richness that is consistent with certain plausible requirements.

研究动机与目标

• 定义一种在局部变换下不变的、一致的信息论复杂性度量，用于动力系统。
• 解决在时间序列中区分相关预测信息与无关观测数据的问题。
• 识别出能够捕捉底层动力学丰富性的预测信息的唯一分量，尤其在具有长程相关性的临界点处。
• 通过将复杂性建立在预测信息的发散性基础上，统一统计力学、信息论与动力系统理论的概念。

提出的方法

• 将预测信息定义为过去与未来数据流之间的互信息：$ I_{\text{pred}}(T) = 2S(T) - S(2T) $，其中 $ S(T) $ 为持续时间 $ T $ 的时间窗的微熵。
• 使用相对于参考分布 $ Q[x(t)] $ 的相对熵，以在连续极限下定义一个行为良好的信息度量，确保坐标不变性。
• 将参考分布 $ Q[x(t)] $ 限制为由局部算符（如短程相关性）构造的分布，以确保无相变且满足可加性。
• 将 $ I_{\text{pred}}(T) $ 的发散亚可加分量识别为在所有此类局部参考分布下保持不变的唯一复杂性度量。
• 建立该发散分量可捕捉当 $ T \to \infty $ 时关于底层动力学所学习的信息量，尤其在具有长相关时间的系统中。
• 应用不变性原理以消除复杂性度量中的歧义，表明仅发散的亚可加项具有物理意义。

实验结果

研究问题

• RQ1 在信号的局部重参数化下，预测信息的哪一分量保持不变？为何它唯一适合用于度量复杂性？
• RQ2 当 $ T \to \infty $ 时，预测信息 $ I_{\text{pred}}(T) $ 的渐近行为如何？其发散性揭示了关于底层动力学的何种信息？
• RQ3 为何预测信息是亚可加的？这如何表明大多数观测数据对预测未来并不重要？
• RQ4 在时间序列的连续极限下，能否唯一定义复杂性度量？若能，需满足何种不变性条件？
• RQ5 预测信息与动力系统和统计学中既有的复杂性度量之间存在何种关系？

主要发现

• 预测信息 $ I_{\text{pred}}(T) $ 是亚可加的，即 $ \lim_{T\to\infty} I_{\text{pred}}(T)/T = 0 $，因此仅有可忽略的总信息量具有预测性。
• 对于具有长程相关性或临界行为的系统，$ I_{\text{pred}}(T) $ 以 $ \sim \mu \ln T $ 的形式对数发散，表明动力学的可学习性在增强。
• $ I_{\text{pred}}(T) $ 的发散亚可加分量是唯一在由局部算符构造的参考分布变换下保持不变的复杂性度量。
• 该发散分量量化了随着观测时间增加，可从底层动力学中学到的信息量。
• 该度量对局部信号变换（如局部重参数化或拼写变体）保持不变，确保了对观察者依赖期望的鲁棒性。
• 该框架通过将预测信息的发散部分识别为基本复杂性度量，统一了信息论、统计学与动力系统理论的视角。