[论文解读] Towards a Geometry and Analysis for Bayesian Mechanics

Dalton A R Sakthivadivel|arXiv (Cornell University)|Apr 25, 2022

Statistical Mechanics and Entropy被引用 13

一句话总结

本文在自由能原理下，运用微分几何与最大熵原理，形式化了贝叶斯力学，表明受约束的动力系统通过熵的梯度上升实现近似贝叶斯推断。该研究建立了自组织现象的规范场论解释，将约束与涌现力联系起来，为非平衡稳态系统中的自由能原理提供了严格的几何基础。

ABSTRACT

In this paper, a simple case of Bayesian mechanics under the free energy principle is formulated in axiomatic terms. We argue that any dynamical system with constraints on its dynamics necessarily looks as though it is performing inference against these constraints, and that in a non-isolated system, such constraints imply external environmental variables embedding the system. Using aspects of classical dynamical systems theory in statistical mechanics, we show that this inference is equivalent to a gradient ascent on the Shannon entropy functional, recovering an approximate Bayesian inference under a locally ergodic probability measure on the state space. We also use some geometric notions from dynamical systems theory$\unicode{x2014}$namely, that the constraints constitute a gauge degree of freedom$\unicode{x2014}$to elaborate on how the desire to stay self-organised can be read as a gauge force acting on the system. In doing so, a number of results of independent interest are given. Overall, we provide a related, but alternative, formalism to those driven purely by descriptions of random dynamical systems, and take a further step towards a comprehensive statement of the physics of self-organisation in formal mathematical language.

研究动机与目标

• 为复杂动力系统中的自由能原理（FEP）建立几何与分析基础。
• 表明动力系统中的约束自然导致类似推断的行为，等价于香农熵的梯度上升。
• 利用微分几何与动力系统理论的工具，将自组织解释为由约束引起的规范场力。
• 提供一种替代纯随机动力系统方法的公式化体系，其基础为最大熵与场论。
• 在局部遍历性与平稳性条件下，确立FEP在数学上的严谨性，其结果对非平衡统计力学具有启示意义。

提出的方法

• 在自由能原理下，采用公理化方法形式化贝叶斯力学，将约束视为定义系统态的机制。
• 在约束条件下应用最大熵原理，推导出将推断等价于熵梯度上升的描述。
• 引入动力系统理论中的几何结构，将约束解释为规范自由度。
• 运用范畴论对偶性，关联信念推断与状态分布优化。
• 使用平稳随机过程与水平集参数化方法，建模受约束条件下的系统动力学。
• 应用螺线管流与耗散流分解，描述非平衡稳态，将其与FEP动力学联系起来。

实验结果

研究问题

• RQ1 如何将动力系统中的约束形式化为一种推断机制，其几何解释是什么？
• RQ2 在非平衡系统中，自由能原理在多大程度上等价于约束条件下的最大熵？
• RQ3 复杂系统的自组织现象能否被解释为由状态动力学约束引起的规范场力？
• RQ4 局部遍历性在FEP框架内实现近似贝叶斯推断中起到何种作用？
• RQ5 流的螺线管分量与耗散分量如何从最大熵原理中产生，其物理意义是什么？

主要发现

• 在局部遍历性条件下，动力系统中的约束通过香农熵泛函的梯度上升诱导出近似贝叶斯推断。
• 自由能原理在形式上等价于在约束条件下最大化熵，为该理论提供了新的几何与分析基础。
• 系统维持自组织的倾向被解释为来自约束流形的规范场力，类似于物理中的规范对称性。
• 非平衡稳态可分解为螺线管场与耗散场，其流动方向指向由约束所定义的捕获区域。
• 流的分解并非唯一，反映出仅系综统计决定稳态密度，而非底层动力学。
• 最大熵为FEP提供了场论语言，使其超越平衡态，能够对复杂自适应系统进行形式化处理。