[论文解读] Semantic information, agency, and nonequilibrium statistical physics

Artemy Kolchinsky, David H. Wolpert|arXiv (Cornell University)|Jun 21, 2018

Statistical Mechanics and Entropy被引用 3

一句话总结

本文提出了一种基于系统通过与环境互动来维持自身低熵状态的因果角色的语义信息定量理论。通过将自我维持与非平衡统计物理联系起来，该理论将语义信息定义为因果上必要的句法信息，从而在纯粹物理术语下对代理性、信息内容和信息价值进行形式化定义。

ABSTRACT

Information theory provides various measures of correlations holding between the states of two systems, which are sometimes called measures of At the same time, the concept of refers to information which is in some sense meaningful rather than merely correlational. Semantic information plays an important role in many fields -- including biology, cognitive science, artificial intelligence -- and there has been a long-standing interest in a quantitative theory of semantic information. In this work, we introduce such a theory, which defines semantic information as the syntactic information that a physical system has about its environment that is causally necessary for the system to maintain its own existence. We operationalize self-maintenance in terms of the ability of the system to maintain a low entropy state, which we use to make connections to results in nonequilibrium statistical physics. Our approach leads naturally to formal definitions of notions like value of information, content, and agency. Our approach is grounded purely in the intrinsic dynamics of a system coupled to some environment, and is applicable to any physical system.

研究动机与目标

• 开发一种语义信息的定量理论，以区分有意义的信息与单纯的关联性。
• 解决长期以来在不依赖外部解释的前提下，对物理系统中语义信息进行定义的挑战。
• 基于内在动力学和热力学约束，形式化代理性、内容和信息价值的概念。
• 在信息论、非平衡统计力学与系统意义的物理基础之间建立桥梁。
• 提供一个仅基于内部动力学与环境耦合的框架，适用于任何物理系统，包括生物系统和人工系统。

提出的方法

• 将语义信息定义为系统关于其环境所持有的、对其自身维持低熵状态具有因果必要性的句法信息。
• 将自我维持建模为系统通过与环境持续互动来维持非平衡、低熵状态的能力。
• 应用非平衡统计物理的原理，量化信息处理的热力学成本和因果结构。
• 基于系统利用语义信息调节其内部状态并抵抗熵增的能力，推导出代理性的形式定义。
• 使用因果必要性作为标准，以区分语义信息与单纯的统计相关性。
• 将信息的价值形式化为它对系统在环境中生存或自我维持的贡献程度。

实验结果

研究问题

• RQ1 如何在完全独立于外部观察者的情况下，以纯粹物理术语形式定义语义信息？
• RQ2 语义信息与系统维持其低熵状态的热力学维持之间存在何种关系？
• RQ3 代理性如何从系统-环境相互作用中的信息因果结构中自然产生？
• RQ4 在物理系统中，语义信息与句法信息或统计相关性有何本质区别？
• RQ5 如何基于信息在维持系统存在中的作用来量化其价值？

主要发现

• 语义信息被形式化定义为对系统维持自身低熵状态具有因果必要性的句法信息子集。
• 该框架在语义信息与非平衡热力学之间建立了直接联系，使意义建立在物理过程之上。
• 代理性自然地从系统利用语义信息调节其内部状态并抵抗热力学退化的能力中产生。
• 信息的价值通过其对熵调节的因果影响程度来量化，更高的价值对应更大的因果作用。
• 该理论提供了一个统一的、观察者无关的框架，适用于任何物理系统，包括生物和人工代理。
• 内容被形式化定义为与系统生存具有因果相关性的特定环境状态，其来源于因果必要性约束。