[论文解读] Towards a stable definition of Kolmogorov-Chaitin complexity

Jean‐Paul Delahaye, Héctor Zenil|arXiv (Cornell University)|Apr 22, 2008

Computability, Logic, AI Algorithms参考文献 9被引用 12

一句话总结

本文通過識別那些在輸出機率分佈上收斂的計算模型（如圖靈機和細胞自動機），提出了一種穩定且語言無關的柯爾莫哥洛夫-柴廷複雜度定義。透過將『自然』模型定義為相對複雜度排序（相對複雜度排序的差異小於一常數）得以保持的模型，作者建立了一套框架，使算法複雜度在不同通用機器之間具有魯棒性，從而克服了因加法常數導致的不穩定性。

ABSTRACT

Although information content is invariant up to an additive constant, the range of possible additive constants applicable to programming languages is so large that in practice it plays a major role in the actual evaluation of K(s), the Kolmogorov-Chaitin complexity of a string s. Some attempts have been made to arrive at a framework stable enough for a concrete definition of K, independent of any constant under a programming language, by appealing to the "naturalness" of the language in question. The aim of this paper is to present an approach to overcome the problem by looking at a set of models of computation converging in output probability distribution such that that "naturalness" can be inferred, thereby providing a framework for a stable definition of K under the set of convergent models of computation.

研究动机与目标

• 解決因不同程式語言或通用圖靈機之間的任意加法常數所導致的柯爾莫哥洛夫-柴廷複雜度不穩定問題。
• 定義計算模型中『自然性』的標準，以確保字串複雜度的相對排序一致。
• 透過分析不同計算模型之間輸出分佈的收斂性，建立穩定且通用的算法機率參考分佈。
• 提供一個實驗基礎的實用框架，用於近似柯爾莫哥洛夫-柴廷複雜度，特別是針對短字串，方法為利用圖靈機與細胞自動機的經驗分佈。
• 透過假設與實驗驗證該方法，顯示機率分佈與排序分佈趨近於一個通用極限。

提出的方法

• 將計算模型定義為『自然』，若其為 c = 0.01 的柯爾莫哥洛夫-柴廷排序保持型，即在不同模型之間保持字串複雜度的相對排序。
• 利用有限通用圖靈機（TM(n)）與基本細胞自動機（CA(n)）的經驗頻率分佈，計算輸出機率分佈 pr(D_N(n)) 與排序排名 ord(D_N(n))。
• 分析當 n 增大時，這些分佈與排序的收斂性，並假設收斂意味著存在穩定的通用分佈 D_N。
• 比較不同模型（圖靈機與細胞自動機）的分佈，測試其是否收斂至相同極限，以支持通用自然先驗的存在。
• 應用統計指標如肯德爾等級相關係數，量化不同模型之間的排序保持程度。
• 利用 TM(2,2) 與 CA(1) 的實驗數據，實證驗證分佈的收斂性與複雜度排序的穩定性。

实验结果

研究问题

• RQ1 能否透過識別在輸出機率分佈上收斂的計算模型，達成穩定且語言無關的柯爾莫哥洛夫-柴廷複雜度定義？
• RQ2 不同計算模型（如圖靈機與細胞自動機）在多大程度上產生相似的字串複雜度相對排序？
• RQ3 是否存在一個通用機率分佈 D_N，作為多種計算模型輸出分佈的極限，作為算法資訊理論中的自然先驗？
• RQ4 如何形式化且量化計算中『自然性』的概念，以複雜度排序的保持為基礎？
• RQ5 來自有限計算模型的經驗分佈能否可靠地近似理論上的通用分佈 m(s)，並提供一種可行的替代方案，以應對 K(s) 的不可計算性？

主要发现

• 實驗結果顯示，圖靈機與細胞自動機的輸出機率分佈隨著 n 增大而收斂至共同極限，支持通用自然分佈 D_N 的存在。
• 對於足夠大的 n，不同模型之間的字串複雜度排序（依 K(s) 排序）趨於穩定，且假設指出，當 n 超過某個閾值 k 後，所有模型均為 c = 0.01 的排序保持型。
• 假設 5 與 6 表明，圖靈機與細胞自動機模型的極限分佈收斂至同一個通用分佈，暗示該框架在不同計算範疇中具有魯棒性。
• 使用肯德爾等級相關係數可量化『自然性』，顯示在收斂達成時，不同模型之間的複雜度排序具有高度一致性。
• 該框架提供了一種實用且基於實驗的近似 K(s) 的方法，特別適用於短字串，克服了柯爾莫哥洛夫-柴廷複雜度不可計算的問題。
• 結果支持使用有限模型的經驗分佈作為算法資訊理論中穩定且自然的先驗分佈，尤其在理論上的 m(s) 難以計算時更具實用價值。