[论文解读] On the Running Time of the Shortest Programs

Norbert Bátfai|ArXiv.org|Aug 10, 2009

Computability, Logic, AI Algorithms参考文献 5被引用 4

一句话总结

本论文研究生成给定字符串的最短程序的运行时间，引入了柯尔莫哥洛夫时间复杂度 $ K_T(w) $，即所有最短程序中最小的运行时间。研究表明，对于不可压缩字符串，$ K_T(w) = O(1) $，并通过研究快车（Busy Beaver）和睡鼠（Placid Platypus）机器，探索了极端运行时间行为，表明即使高度可压缩的字符串，其最短程序的运行时间也可能很短。

ABSTRACT

The Kolmogorov complexity of the word w is equal to the length of the shortest concatenation of program Z and its input x with which the word w is computed by the universal turing machine U. The question introduced in this paper is the following: How long do the shortest programs run for?

研究动机与目标

• 理解生成给定字符串的最短程序的运行时间行为，而不仅仅是其长度。
• 定义并分析一种新的复杂度度量：柯尔莫哥洛夫时间复杂度 $ K_T(w) $，即所有最短程序中最小的运行时间。
• 研究高度可压缩字符串（如快车字符串）的最短程序是否可能运行极长时间。
• 通过研究具体机器（特别是快车和睡鼠机器）来探索柯尔莫哥洛夫复杂度与运行时间之间的关系。
• 提供关于 $ K_T(w) $ 的实证证据和理论界，特别是针对不可压缩和可压缩字符串。

提出的方法

• 定义 $ K_T(w) = \min\{ t_U(Zx) \mid U(Zx) = w, \, |Zx| = K(w) \} $，即所有最短程序中最小的运行时间。
• 使用通用图灵机 $ U $ 来模拟程序 $ Zx $，以步数测量运行时间 $ t_U(Zx) $。
• 应用通用机器开销的界：$ t_U(Zx) \leq c_{\text{init}}|Zx| + c_{\text{run}} t_Z(|x|) $，表明 $ K_t(w) \leq c|w| $。
• 分析 $ n = 1 $ 到 $ 4 $ 的特定快车机器 $ \mathcal{M}_{BB}(n) $，计算其运行时间和输出。
• 使用自定义 C 程序搜索并验证睡鼠机器，这些机器以少量状态和规则产生大量 1。
• 在 C 代码中使用规则索引系统，高效地表示和模拟图灵机的转移。

实验结果

研究问题

• RQ1 所有生成给定字符串 $ w $ 的最短程序中，最小运行时间是多少？
• RQ2 对于不可压缩字符串 $ w $，其最短程序是否可能长时间运行，还是其运行时间有界？
• RQ3 高度可压缩字符串（如快车字符串）的最短程序的运行时间与字符串长度相比如何？
• RQ4 是否存在 $ K_T(w) $ 的理论上下界，特别是当 $ K(w) \approx |w| $ 时？
• RQ5 最短程序的运行时间能否独立于其长度进行表征，特别是在不可判定性的背景下？

主要发现

• 对于不可压缩字符串，其中 $ K(w) = |w| + |Z_{\text{trivial}}| $，最短程序的运行时间有界，如 $ K_T(w) \leq c_{\text{init}}|Z_{\text{trivial}}||w| $ 所示。
• 本文证实，不可压缩字符串的最短程序相对于字符串长度运行在常数时间内，意味着 $ K_T(w) = O(1) $。
• 对于 $ n=4 $，快车机器 $ \mathcal{M}_{BB}(4) $ 产生 $ 1^{12} $，运行 95 至 106 步，表明即使短程序也可能具有非平凡的运行时间。
• 具有 5 个状态和 9 条规则的睡鼠机器在 20,927 步内产生 $ 1^{160} $，表明短程序可能在长时间运行后生成极长的输出。
• 实证结果表明，高度可压缩字符串（如 $ 1^{12} $）的最短程序的运行时间可能远长于字符串长度，但仍受通用机器开销的限制。
• 本研究证实，字符串的最短程序不会无限运行，支持了最短程序总是停机且具有有限有界运行时间的猜想。