[论文解读] Possibilities and impossibilities in Kolmogorov complexity extraction

Marius Zimand|arXiv (Cornell University)|Apr 5, 2011

Computability, Logic, AI Algorithms参考文献 30被引用 13

一句话总结

本文研究了使用柯尔莫哥洛夫复杂度作为随机性度量时，从低质量随机源中提取高质量随机性的理论极限。它证明了存在可计算函数（柯尔莫哥洛夫提取器），可从多个输入字符串中提取出条件复杂度高的字符串，同时证明了在独立性增强和命中可计算集合方面存在根本性的不可能性结果。

ABSTRACT

Randomness extraction is the process of constructing a source of randomness of high quality from one or several sources of randomness of lower quality. The problem can be modeled using probability distributions and min-entropy to measure their quality and also by using individual strings and Kolmogorov complexity to measure their quality. Complexity theorists are more familiar with the first approach. In this paper we survey the second approach. We present the connection between extractors and Kolmogorov extractors and the basic positive and negative results concerning Kolmogorov complexity extraction.

研究动机与目标

• 研究使用可计算函数从多个低复杂度字符串中提取高复杂度随机性的可行性。
• 阐明以柯尔莫哥洛夫复杂度而非最小熵为度量时，随机性提取的理论边界。
• 建立概率分布中的提取器与个体字符串中柯尔莫哥洛夫提取器之间的联系。
• 分析使用有效函数在有限字符串中提升随机性质量或独立性的局限性。
• 展示柯尔莫哥洛夫提取器在复杂性理论中的应用，包括依赖字符串集合的下界以及独立性增强的不可能性。

提出的方法

• 使用普通柯尔莫哥洛夫复杂度 C(x) 和条件复杂度 C(x|y) 作为个体字符串中随机性质量的度量。
• 将柯尔莫哥洛夫提取器定义为可计算函数 f，其将输入字符串 (x1,…,xt) 映射为即使在某些输入条件下也具有高复杂度的输出字符串。
• 应用随机性缺陷和字符串间依赖性的概念，分析有效提取的极限。
• 基于热门输出字符串的原像数量，使用计数论证推导出依赖字符串集合大小的下界。
• 使用“依赖性诅咒”定理证明不可能性结果，特别是关于独立性增强。
• 利用提取器的性质表明，柯尔莫哥洛夫提取器无法命中某些可计算集合，从而在复杂性理论中获得结构性洞见。

实验结果

研究问题

• RQ1 能否使用可计算函数从多个低复杂度输入字符串中有效提取出高复杂度字符串？
• RQ2 以柯尔莫哥洛夫复杂度为度量时，提升随机性质量的根本限制是什么？
• RQ3 是否能通过可计算函数有效降低两个字符串之间的依赖性（即独立性增强）？
• RQ4 柯尔莫哥洛夫提取器如何与字符串的可计算子集相互作用，其命中特性如何？
• RQ5 在给定复杂度类中，'提取不良'的字符串数量的定量下界是多少？

主要发现

• 存在可计算函数（柯尔莫哥洛夫提取器），对于 S_{k,α} 中的输入 (x,y)，即使在给定一个输入的条件下，也能产生条件复杂度为 m - α - O(1) 的输出，其中 m ≈ k。
• 只要提取器的输出复杂度超过集合 A 中字符串的复杂度，柯尔莫哥洛夫提取器就无法命中任何可计算集合 A（其中 |A^{=n}| 为字符串数量）。
• 建立了 |B_{x,α}| ≥ (1/C)2^{n−α} - poly(n)2^α 的下界，表示满足 C(y|n) - C(y|x) ≥ α 的字符串 y 的数量，该结果优于标准方法，消除了 1/poly(n) 的松弛因子。
• 在 S_{k,α} 中，独立性增强是不可能的，因为任何有效函数若将依赖性降低至 α - O(log α) 以下，将与‘依赖性诅咒’定理矛盾。
• 本文证明，对于任意柯尔莫哥洛夫提取器 E，存在字符串 z，使得在 {x} × {0,1}^n 上限制的 E 的 z 的原像数量至少为 2^{n−m}，表明存在大量输入属于‘提取不良’之列。
• 柯尔莫哥洛夫提取器的存在意味着随机性缺陷可被有效减少，但仅限于由输入内在依赖结构所允许的范围内，无法超越此极限。