[论文解读] On Bayesian Mechanics: A Physics of and by Beliefs

Maxwell J. D. Ramstead, Dalton A R Sakthivadivel+6 more|arXiv (Cornell University)|May 23, 2022

Statistical Mechanics and Entropy被引用 11

一句话总结

本文提出贝叶斯力学作为建模自组织系统的形式化框架，这些系统似乎通过概率推理对环境状态进行后验信念估计。通过规范场论对偶性统一自由能原理与受限最大熵原理，该框架在统计流形上建立了信念动力学的力学理论，使具有非平稳或混沌轨迹的系统能够建立机械理论。

ABSTRACT

The aim of this paper is to introduce a field of study that has emerged over the last decade called Bayesian mechanics. Bayesian mechanics is a probabilistic mechanics, comprising tools that enable us to model systems endowed with a particular partition (i.e., into particles), where the internal states (or the trajectories of internal states) of a particular system encode the parameters of beliefs about external states (or their trajectories). These tools allow us to write down mechanical theories for systems that look as if they are estimating posterior probability distributions over the causes of their sensory states. This provides a formal language for modelling the constraints, forces, potentials, and other quantities determining the dynamics of such systems, especially as they entail dynamics on a space of beliefs (i.e., on a statistical manifold). Here, we will review the state of the art in the literature on the free energy principle, distinguishing between three ways in which Bayesian mechanics has been applied to particular systems (i.e., path-tracking, mode-tracking, and mode-matching). We go on to examine a duality between the free energy principle and the constrained maximum entropy principle, both of which lie at the heart of Bayesian mechanics, and discuss its implications.

研究动机与目标

• 建立贝叶斯力学作为新研究领域，形式化物理系统中概率信念形成的力学。
• 通过将传统力学扩展至包含信念动力学，填补对非平稳、自适应系统（尤其是生物系统）建模的空白。
• 阐明自由能原理（FEP）的认识论地位及其在复杂自适应系统科学建模中的作用。
• 通过规范场论对偶性，统一自由能原理与受限最大熵原理（CMEP）。
• 为一般理论——G-理论——奠定基础，使其能够描述具有移动吸引子、混沌动力学或无稳态分布的系统。

提出的方法

• 将贝叶斯力学形式化为共轭信息几何，通过伴随（对偶）空间将物理状态动力学与信念状态动力学联系起来。
• 应用自由能原理（FEP）建模系统，使其通过最小化变分自由能作为贝叶斯推理的代理。
• 引入FEP与受限最大熵原理（CMEP）之间的对偶性，证明在规范对称性和对偶化下二者等价。
• 利用信息几何在统计流形上建模信念动力学，将信念状态视为在概率分布的黎曼空间上演化。
• 运用规范理论概念，从信念与物理状态空间中的对称性推导动力学定律，特别是通过校准与意外性之间的伴随关系。
• 提出G-理论框架，通过将最大校准作为变分原理，将FEP与CMEP推广至非平稳系统。

实验结果

研究问题

• RQ1 如何为那些似乎对环境原因进行后验信念估计的系统构建机械理论？
• RQ2 自由能原理与受限最大熵原理之间的数学与物理关系是什么？
• RQ3 FEP与CMEP之间的对偶性如何实现对复杂系统中信念动力学与物理动力学的统一描述？
• RQ4 贝叶斯力学在描述具有非平稳、混沌或时变吸引子的系统方面有何能力？
• RQ5 规范对称性与对偶化在推导编码概率信念的系统的自洽动力学中起什么作用？

主要发现

• 贝叶斯力学为行为如同执行贝叶斯推理的系统，在统计流形上建模约束、力、势能与动力学提供了正式语言。
• 通过规范场论结构，建立了自由能原理（FEP）与受限最大熵原理（CMEP）之间的对偶性，揭示了统计与物理动力学中的深层对称性。
• 共轭信息几何框架实现了对物理系统的双重描述：一种是物理状态轨迹的描述，另一种是信念状态在统计流形上的演化。
• 该框架通过推广至最大校准，支持非平稳系统，其相较于意外性更适用于具有移动或混沌吸引子的系统。
• 所提出的G-理论框架中存在右伴随映射，可建立信念空间自由能与物理空间熵之间的交换图，从而验证了对偶性。
• 本文证明，长期维持组织的系统并未违反热力学第二定律，其看似抵抗熵增的特性可通过主动推理与基于信念的动力学加以解释。