[论文解读] Two-Dimensional Kolmogorov Complexity and Validation of the Coding Theorem Method by Compressibility

Héctor Zenil, Fernando Soler Toscano+2 more|arXiv (Cornell University)|Dec 30, 2012

Computability, Logic, AI Algorithms参考文献 16被引用 25

一句话总结

本文提出一种基于二维图灵机（Turmites）的二维柯尔莫哥洛夫复杂度度量方法，用于估计图像和时空图样的算法复杂度，并通过与无损压缩的一致性以及在不同计算形式体系下的稳定性进行验证。该方法基于算法概率和编码定理法（CTM），为短小且复杂的二维结构提供了一种可靠、可扩展的压缩替代方案。

ABSTRACT

We propose a measure based upon the fundamental theoretical concept in algorithmic information theory that provides a natural approach to the problem of evaluating $n$-dimensional complexity by using an $n$-dimensional deterministic Turing machine. The technique is interesting because it provides a natural algorithmic process for symmetry breaking generating complex $n$-dimensional structures from perfectly symmetric and fully deterministic computational rules producing a distribution of patterns as described by algorithmic probability. Algorithmic probability also elegantly connects the frequency of occurrence of a pattern with its algorithmic complexity, hence effectively providing estimations to the complexity of the generated patterns. Experiments to validate estimations of algorithmic complexity based on these concepts are presented, showing that the measure is stable in the face of some changes in computational formalism and that results are in agreement with the results obtained using lossless compression algorithms when both methods overlap in their range of applicability. We then use the output frequency of the set of 2-dimensional Turing machines to classify the algorithmic complexity of the space-time evolutions of Elementary Cellular Automata.

研究动机与目标

• 开发一种针对二维对象（如图像和离散系统时空图）的自然、客观的算法复杂度度量方法。
• 以无损压缩为基准，验证编码定理法（CTM）在适用重叠区域对二维复杂度估计的可靠性。
• 证明该方法在计算形式体系参数变化（如头部移动规则、状态/符号数量、网格与纸带模型）下的稳定性与鲁棒性。
• 引入并应用块分解法（BDM），实现对超过小图像块范围的更大二维数组的可扩展复杂度估计。
• 基于二维图灵机输出频率分布，对初等细胞自动机（ECA）进行分类，依据其时空演化过程的算法复杂度。

提出的方法

• 利用二维确定性图灵机（Turmites）从简单对称规则生成二维图案分布，借助算法概率为复杂度估计赋值。
• 应用算法概率理论中的莱文编码定理，将柯尔莫哥洛夫复杂度估计为通用分布中图案生成频率的倒数。
• 采用块分解法（BDM）将更大的二维数组分解为较小的重叠方形块（如3×3），并聚合其复杂度估计值，以实现对更大图像的扩展。
• 将基于CTM的复杂度估计与无损压缩算法（如gzip、bzip2）在按相似复杂度分组的连接字符串上的结果进行比较，以避免压缩偏差。
• 使用在线算法复杂度计算器（http://www.complexitycalculator.com）公开提供$K_m$和未来$K_{m,2D}$的估计值。
• 在初等细胞自动机规则演化和Turmite生成图案上开展实验，比较复杂度排序与压缩结果，并评估收敛稳定性。

实验结果

研究问题

• RQ1 能否从二维图灵机（Turmites）中一致地推导出反映二维图案算法复杂度的二维柯尔莫哥洛夫复杂度度量？
• RQ2 在输入范围重叠区域，二维复杂度的编码定理法（CTM）与无损压缩在估计柯尔莫哥洛夫复杂度方面有何比较？
• RQ3 当计算形式体系参数（如状态数、符号数或头部移动规则）变化时，基于CTM的复杂度估计是否保持稳定？
• RQ4 块分解法（BDM）在多大程度上能够实现对更大二维数组的复杂度估计扩展，同时保持准确性？
• RQ5 二维图灵机输出频率分布能否可靠地对初等细胞自动机时空图的算法复杂度进行分类？

主要发现

• 基于CTM的二维复杂度度量在适用重叠区域与无损压缩结果高度一致，证实其作为互补估计器的有效性。
• 根据算法概率，越随机的字符串始终更难压缩，而越不随机的字符串则更容易压缩，验证了算法概率与可压缩性之间的理论关联。
• 该方法在图灵机形式体系变化（如头部移动规则、状态/符号数量、网格与纸带模型）下保持稳定，表明其收敛速度快且对模型参数不敏感。
• 块分解法（BDM）使二维复杂度估计可扩展至3×3块以外的更大数组，使对更大图像和复杂系统的分析成为可能。
• 基于Turmite生成图案频率的初等细胞自动机（ECA）分类结果与压缩方法及一维图灵机结果一致，证实了不同计算模型间的一致性。
• 该方法可对3×3及以上图像块提供柯尔莫哥洛夫复杂度的精确数值近似，具有在人工生命、机器人学和神经科学等领域的广泛应用潜力。