[论文解读] The evolution of lossy compression

Sarah Marzen, Simon DeDeo|arXiv (Cornell University)|Jun 19, 2015

Neural dynamics and brain function参考文献 97被引用 35

一句话总结

本文将率失真理论应用于进化生物学，表明生物体通过有损压缩来平衡感知准确度与处理成本，进化出感知系统。它识别出一个关键阈值 dmin：低于此阈值时，感知成本随环境复杂度呈对数增长；高于此阈值时，成本保持恒定，从而实现对复杂环境的高效适应。

ABSTRACT

In complex environments, there are costs to both ignorance and perception. An organism needs to track fitness-relevant information about its world, but the more information it tracks, the more resources it must devote to memory and processing. Rate-distortion theory shows that, when errors are allowed, remarkably efficient internal representations can be found by biologically-plausible hill-climbing mechanisms. We identify two regimes: a high-fidelity regime where perceptual costs scale logarithmically with environmental complexity, and a low-fidelity regime where perceptual costs are, remarkably, independent of the environment. When environmental complexity is rising, Darwinian evolution should drive organisms to the threshold between the high- and low-fidelity regimes. Organisms that code efficiently will find themselves able to make, just barely, the most subtle distinctions in their environment.

研究动机与目标

• 理解进化压力如何塑造感知系统以平衡准确度与处理成本。
• 识别生物系统中感知保真度与资源使用之间的权衡。
• 确定在有损压缩下，记忆与处理成本如何随环境复杂度变化。
• 表明最小失真 dmin 处的临界阈值将高保真度与低保真度感知模式区分开来。
• 证明进化推动生物体处于高保真度与低保真度模式的边界，以最大化对环境细微差异的分辨能力。

提出的方法

• 使用率失真理论将感知系统建模为有损压缩器，其在失真约束 D 下最小化记忆成本 I[R;X]。
• 定义失真度量 d(x, ˜x)，用于量化将状态 x 误认为 ˜x 所导致的适应度损失，该度量可为非对称且非均匀。
• 将互信息 I[R;X] 作为记忆成本的下界，表示有效内部表征数 Neff = 2^R(D)。
• 通过使用次优码书推导率失真函数 R(D) 的上下界，以分析其随环境大小 N 的变化规律。
• 考虑从分布 φ 中随机抽取的失真矩阵，表明当 N 较大时，R(D) 具有弱普遍性。
• 识别出 dmin = min_{x≠˜x} d(x, ˜x) 为临界阈值，用以区分感知成本的两种不同标度规律。

实验结果

研究问题

• RQ1 在使用有损压缩时，感知成本如何随环境复杂度变化？
• RQ2 最小失真 dmin 在决定感知系统设计中起什么作用？
• RQ3 为何某些感知系统在环境复杂度增加时仍保持恒定的处理成本？
• RQ4 率失真理论如何预测生物系统中感知保真度的进化？
• RQ5 是什么决定了感知成本随 N 呈对数增长还是保持恒定？

主要发现

• 当平均失真 D ≥ dmin 时，感知成本 R(D) 随环境复杂度 N 增加而保持恒定，表明处于低保真度模式。
• 当 D < dmin 时，感知成本 R(D) 随 N 呈对数增长，表明处于高保真度模式。
• 对于 D ≤ dmin，率失真函数 R(D) 满足不等式：log2 N − Hb(D/dmin) − (D/dmin) log2(N−1) ≤ R(D) ≤ log2 N − Hb(D/¯d) − (D/¯d) log2(N−1)。
• 对于随机失真矩阵，当 D ≥ dmin 时，R(D) 收敛于一个与 N 无关的通用函数，意味着资源使用时间不变。
• 当 D ≥ dmin 时，R(D) 的上界仅依赖于概率 Pr(d(x,˜x) ≤ D)，而不依赖于 N，表明在低保真度模式下 R(D) = O(1)。
• 进化应推动生物体达到阈值 D ≈ dmin，以在最小化资源使用的同时维持对环境细微差异的分辨能力。