[论文解读] Program-Size Versus Time Complexity, Speed-Up and Slowdown Phenomena in Small Turing Machines

Joost J. Joosten, Fernando Soler Toscano+1 more|arXiv (Cornell University)|Feb 26, 2011

Cellular Automata and Applications参考文献 6被引用 4

一句话总结

本文通过全面分析所有此类图灵机，实验研究了小型图灵机（2,2）、（3,2）以及部分（4,2）图灵机在程序大小复杂度与时间复杂度之间的权衡。研究发现，增加状态数通常导致显著的运行速度下降——平均下降超过2,300倍——而速度提升则极为罕见且微小，表明在小型图灵机的‘微观宇宙’中普遍存在运行变慢的现象。

ABSTRACT

The aim of this paper is to undertake an experimental investigation of the trade-offs between program-size and time computational complexity. The investigation includes an exhaustive exploration and systematic study of the functions computed by the set of all 2-color Turing machines with 2, 3 and 4 states--denoted by (n,2) with n the number of states--with particular attention to the runtimes and space usages when the machines have access to larger resources (more states). We report that the average runtime of Turing machines computing a function almost surely increases as a function of the number of states, indicating that machines not terminating (almost) immediately tend to occupy all the resources at hand. We calculated all time complexity classes to which the algorithms computing the functions found in both (2,2) and (3,2) belong to, and made a comparison among these classes. For a selection of functions the comparison was extended to (4,2). Our study revealed various structures in the micro-cosmos of small Turing machines. Most notably we observed "phase-transitions" in the halting-probability distribution that we explain. Moreover, it is observed that short initial segments fully define a function computed by a Turing machine.

研究动机与目标

• 探索小型图灵机中程序大小复杂度（描述长度）与时间复杂度之间的关系。
• 研究增加状态数对（2,2）、（3,2）和（4,2）图灵机所计算函数的运行时间性能的影响。
• 识别小型图灵机‘微观宇宙’中的结构模式、相变点以及计算行为。
• 量化不同机器规模下的速度提升与速度下降现象，并评估其统计显著性。

提出的方法

• 对所有具有2、3个状态以及部分4个状态的2色图灵机进行穷举枚举与仿真。
• 系统性地计算从输入0到20的运行时间、空间使用量和输出模式。
• 根据时间复杂度类别对所有计算出的函数进行分类，并在不同机器规模间进行比较。
• 通过统计分析停机概率分布和运行时间分布，检测相变点。
• 通过比较（2,2）与（3,2）图灵机之间的算法性能，计算速度提升与速度下降因子。
• 估算速度提升与速度下降的概率，以评估观察到趋势的统计显著性。

实验结果

研究问题

• RQ1 在2色图灵机中增加状态数如何影响其计算函数的平均运行时间？
• RQ2 从（2,2）到（3,2）图灵机时，速度提升与速度下降的频率和幅度分别是多少？
• RQ3 随着计算步数的增加，停机概率分布是否表现出可检测的相变？
• RQ4 小的初始输入片段在多大程度上决定了图灵机的完整行为？
• RQ5 在速度提升与速度下降趋势方面，（4,2）图灵机空间与（3,2）相比有何异同？

主要发现

• 平均而言，增加状态数会导致运行时间显著增加，（3,2）中算法的平均运行时间比（2,2）中最慢的慢了2,379.75倍。
• 观察到的最大速度下降约为1.198 × 10⁶倍，表明增加状态数会导致极端的性能退化。
• 在（3,2）中计算（2,2）函数的3,414个算法中，仅有122个更快，若假设速度提升与下降各占50%，其概率约为10⁻¹⁰⁸，证实速度下降在统计上占主导地位。
• 速度提升虽罕见但存在：在（2,2）的74个函数中，有19个至少有一个在（3,2）中存在更快的算法，平均速度提升因子为1.23。
• 在（4,2）中，仅有0.0069的函数表现出线性速度提升（快2.5至3倍），进一步证实（3,2）中速度提升稀少且微弱的趋势。
• 停机概率分布表现出明显的相变，表明在关键步数处计算行为发生了结构性转变。