[论文解读] Software in the natural world: A computational approach to hierarchical emergence

Fernando E. Rosas, Bernhard C. Geiger+5 more|arXiv (Cornell University)|Feb 14, 2024

Computability, Logic, AI Algorithms被引用 5

一句话总结

本论文通过将信息理论概念与自动机理论相结合，构建一个计算框架，将涌现与软件般、自治的宏观过程联系起来，以描述多层系统中的因果与计算闭合。

ABSTRACT

Understanding the functional architecture of complex systems is crucial to illuminate their inner workings and enable effective methods for their prediction and control. Recent advances have introduced tools to characterise emergent macroscopic levels; however, while these approaches are successful in identifying when emergence takes place, they are limited in the extent they can determine how it does. Here we address this limitation by developing a computational approach to emergence, which characterises macroscopic processes in terms of their computational capabilities. Concretely, we articulate a view on emergence based on how software works, which is rooted on a mathematical formalism that articulates how macroscopic processes can express self-contained informational, interventional, and computational properties. This framework establishes a hierarchy of nested self-contained processes that determines what computations take place at what level, which in turn delineates the functional architecture of a complex system. This approach is illustrated on paradigmatic models from the statistical physics and computational neuroscience literature, which are shown to exhibit macroscopic processes that are akin to software in human-engineered systems. Overall, this framework enables a deeper understanding of the multi-level structure of complex systems, revealing specific ways in which they can be efficiently simulated, predicted, and controlled.

研究动机与目标

• 动机：在复杂多层系统中严格表征涌现的宏观层次的必要性。
• 提出一个框架，通过信息性、因果性和计算性闭包来定义宏观自包含性。
• 整合自动机理论与计算力学的原理，研究宏观过程如何进行计算和干预。
• 展示这些思想如何在各尺度上产生嵌套的计算结构格局。

提出的方法

• 定义宏观过程 Z_t = f(X_t)，并使用 upsilon-machine 与 epsilon-machine 来识别影响 Z_t 的 X_t 的最小区分。
• 当 Z 的 epsilon-machine 与 Z 的 upsilon-machine 匹配时，建立因果闭合，意味着宏观干预足以用于未来预测。
• 通过互信息 I(Z_t^L; Z_t+1) = I(X_t^L; Z_t+1) 来形式化信息闭包，以量化自我预测的充分性。
• 引入两种机器框架（epsilon-machine 和 upsilon-machine），以连接因果性和计算性，并描述它们作为预测引擎与潜在原因的角色。
• 将该框架与可分块时间序列理论相关联，以实现对实际数据的高效估计。

实验结果

研究问题

• RQ1 如何将复杂系统中的涌现宏观层次表征为自包含的计算实体？
• RQ2 产生软件样（因果闭合）宏观过程的精确信息、因果与计算条件是什么？
• RQ3 epsilon-_machine 与 upsilon-machine 在定义宏观层面的原因和计算方面如何相互关联？
• RQ4 跨越粗粒化水平的嵌套计算结构格是否可用于预测和控制多尺度动力学？

主要发现

• 宏观层次可以通过信息性、因果性和计算性闭包来表征为自包含的计算实体。
• 一个按粗粒化排序的嵌套计算结构格显现，概述了每一层发生的计算。
• upsilon-machine 提供了利用微观信息对宏观层面未来进行更强预测的模型，而 epsilon-machine 编码了宏观层面的因果区分。
• 宏观 epsilon- 与 upsilon-machine 的等价性定义了因果闭合，表明在宏观层面的干预足以影响未来结果。
• 与可分块时间序列理论的联系使在实际数据中对这些特性进行实际、高效的估计成为可能。
• 示例包括扩散过程、自旋模型、网络上的随机游走、基于代理的模型和神经记忆过程。