[论文解读] Regularities Unseen, Randomness Observed: Levels of Entropy Convergence

James P. Crutchfield, David P. Feldman|arXiv (Cornell University)|Feb 9, 2001

Statistical Mechanics and Entropy被引用 7

一句话总结

本文提出了一套框架，通过分析熵增长曲线的逐阶导数，研究有限数据下熵估计值收敛于随机过程与确定性过程的真实熵率的过程。研究发现，短序列中未被观测到的规律性被误判为随机性，导致对不可预测性的系统性高估，并提出新的度量方法——过剩熵（E）、瞬态信息（T）和熵收敛水平（G），以量化结构记忆与观测者同步性。

ABSTRACT

We study how the Shannon entropy of sequences produced by an information source converges to the source's entropy rate. We synthesize several phenomenological approaches to applying information theoretic measures of randomness and memory to stochastic and deterministic processes by using successive derivatives of the Shannon entropy growth curve. This leads, in turn, to natural measures of apparent memory stored in a source and the amounts of information that must be extracted from observations of a source in order for it to be optimally predicted and for an observer to synchronize to it. One consequence of ignoring these structural properties is that the missed regularities are converted to apparent randomness. We demonstrate that this problem arises particularly for small data sets; e.g., in settings where one has access only to short measurement sequences.

研究动机与目标

• 解开动力系统与随机过程中表观随机性的来源，特别是由有限数据和观测者限制引起的随机性。
• 建立统一的信息论框架，利用熵的导数来量化信息源的结构记忆与可预测性。
• 解决短序列中未被观测到的规律性被误判为随机性的问题，从而扭曲熵率估计。
• 引入并形式化如过剩熵（E）、瞬态信息（T）和熵收敛水平（G）等度量，以捕捉信息源的结构与预测特性。
• 阐明观测者限制、数据长度与复杂系统中熵率估计精度之间的关系。

提出的方法

• 通过熵增长曲线的逐阶导数分析熵估计值的收敛行为。
• 将过剩熵（E）定义为过程中总预测信息，由块熵与熵率之差导出。
• 引入瞬态信息（T）作为前L个符号的熵与渐近熵率之间的差值。
• 提出熵收敛水平（G）作为熵估计值收敛至真实熵率速度的度量。
• 将这些度量应用于随机过程与确定性过程，包括混沌系统与符号动力系统。
• 使用计算力学中的ε-机器表示法来形式化信息源的结构，并将其与熵收敛行为关联。

实验结果

研究问题

• RQ1 在随机与确定性过程中，有限数据下的熵估计值如何收敛至真实熵率？
• RQ2 未被观测到的记忆或结构规律性在短序列的表观随机性中起什么作用？
• RQ3 观测者限制（如数据长度有限或测量分辨率不足）如何系统性地扭曲熵率估计？
• RQ4 过剩熵（E）、瞬态信息（T）与熵收敛水平（G）在表征源结构时的关系是什么？
• RQ5 ε-机器表示法如何用于预测与分析复杂源中的熵收敛行为？

主要发现

• 短序列中未被观测到的规律性被系统性地转化为表观随机性，导致在数据不足时对熵率的高估。
• 过剩熵（E）度量了过程中的总预测信息，其与模型参数数量的关系已被先前Bialek、Nemenman与Tishby的工作证实。
• 瞬态信息（T）量化了有限长度观测未捕捉到的记忆，是导致随机性被高估的贡献因素。
• 熵收敛水平（G）为熵估计值趋近真实熵率的速度提供了自然度量，不同过程表现出不同的收敛行为。
• 该框架揭示，忽略结构特征——尤其是有限数据未捕捉到的记忆——会导致熵率估计中的系统性误差。
• 本文确立了熵率 hμ 是度量不变量，并提出过剩熵 E 与瞬态信息 T 在遍历理论与动力系统理论中可能具有重要意义，尽管这仍需进一步研究。