[论文解读] Short lists with short programs for functions

Nikolay Vereshchagin|arXiv (Cornell University)|Sep 20, 2014

Computability, Logic, AI Algorithms参考文献 1被引用 3

一句话总结

本文建立了包含可计算函数的近似最优程序的短列表大小的基本下限。证明表明，对于任何将程序映射到列表的总可计算函数，存在无穷多个程序，其列表必须包含指数数量的字符串——具体而言，至少包含 $2^{|p| - \varepsilon(p) - O(1)}$ 个字符串——以确保包含一个比最短可能长度仅长 $\varepsilon(p)$ 位的程序。

ABSTRACT

Let $\{ϕ_p\}$ be an optimal Gödel numbering of the family of computable functions (in Schnorr's sense), where $p$ ranges over binary strings. Assume that a list of strings $L(p)$ is computable from $p$ and for all $p$ contains a $ϕ$-program for $ϕ_p$ whose length is at most $\varepsilon$ bits larger that the length of the shortest $ϕ$-program for $ϕ_p$. We show that for infinitely many $p$ the list $L(p)$ must have $2^{|p|-\varepsilon-O(1)}$ strings. Here $\varepsilon$ is an arbitrary function of $p$.

研究动机与目标

• 解决亚历山大·申提出的问题：是否存在一种总可计算算法，给定任意字符串的程序，能输出一个包含该字符串近似最优程序的短列表。
• 在短列表必须包含长度至多比最小可能长度多 $\varepsilon(p)$ 位的程序的前提下，建立此类短列表大小的紧致下限。
• 证明此类总可计算短列表构造无法高效进行——具体而言，列表大小必须随输入长度减去多余长度 $\varepsilon(p)$ 呈指数增长。

提出的方法

• 构造一个通用图灵机 $U$ 和一个将程序映射到字符串的可计算函数 $V$，使用对角化论证确保目标字符串具有高柯尔莫哥洛夫复杂度。
• 对通用图灵机 $U$ 和 $\Phi$（用于列表的通用图灵机）的图进行递归枚举，以维护部分近似 $\bar{U}$ 和 $\bar{\Phi}$。
• 使用条件检查机制检测当前近似状态是否违反了所需的复杂度和列表大小约束。
• 当此类失败发生时，动态重新分配程序与字符串对 ($q_{kn}, x_{kn}$) 以恢复所需性质，确保存在具有高复杂度和大所需列表大小的字符串。
• 应用计数论证，表明总存在未使用的、复杂度和列表兼容性合适的字符串，以维持构造过程。
• 依赖于从 $V$ 到 $U$ 的线性有界翻译器的存在，将程序长度 $|p|$ 与 $V$-程序 $q$ 的长度关联起来，从而保持指数下限。

实验结果

研究问题

• RQ1 是否存在一个总可计算函数，给定任意 $U$-程序 $p$（用于字符串 $x$），输出一个短列表 $L(p)$，其中包含长度至多为 $C_U(x) + \varepsilon(p)$ 的 $U$-程序？
• RQ2 在短列表必须包含长度至多比最优值多 $\varepsilon(p)$ 位的程序的前提下，此类短列表 $L(p)$ 的最小大小是多少？
• RQ3 是否可以将 $L(p)$ 的大小限制为 $|x|$ 或 $|p|$ 的多项式函数，同时仍能保证包含近似最优程序？
• RQ4 短列表 $L(p)$ 的大小如何与多余长度 $\varepsilon(p) = C_{U,L(p)}(U(p)) - |U(p)|$ 相关？
• RQ5 是否存在短列表构造效率的固有限制，使得对无穷多个输入而言，指数级列表大小不可避免？

主要发现

• 对于任何将程序映射到有限列表的总可计算函数 $L$，存在无穷多个程序 $p$，使得 $L(p)$ 必须包含至少 $2^{|x| - \varepsilon(p) - O(1)}$ 个字符串，才能包含一个长度至多为 $C_U(x) + \varepsilon(p)$ 的 $U$-程序。
• 对于无穷多个 $p$，有 $|L(p)| \geq 2^{|p| - \varepsilon(p) - O(1)} - 2$，其中 $\varepsilon(p) = C_{U,L(p)}(U(p)) - |U(p)|$。
• 该下限是紧致的：对于某些可计算列表（例如 $L_i(p) = \{p\} \cup \{0,1\}^{<i}$），列表大小和列表中程序的长度均与理论界限相差至多一个加法常数。
• 即使 $\varepsilon(p)$ 定义为 $C_{U,L(p)}(U(p)) - C_U(U(p))$，该结果依然成立，表明该界限适用于标准柯尔莫哥洛夫复杂度差值。
• 该构造是有效的：可设计一种递归算法，在枚举过程中维护所需性质，确保此类字符串和程序的存在。
• 指数下限源于计数论证：长度为 $n$ 的高柯尔莫哥洛夫复杂度字符串的数量，超过小列表所能覆盖的、描述复杂度较低的字符串数量。