[论文解读] Stripping syntax from complexity: An information-theoretical perspective on complex systems

Rick Quax, Omri Har-Shemesh+2 more|arXiv (Cornell University)|Mar 11, 2016

Complex Network Analysis Techniques被引用 4

一句话总结

本文提出了一种信息论框架，通过抽象掉特定领域的细节，将复杂系统视为处理信息位的实体，以存储、传递和修改比特。通过将模型特定的语法与临界性、鲁棒性等普遍现象解耦，该框架实现了对复杂系统跨领域的理解，可能揭示复杂系统中新型的普遍性。

ABSTRACT

Claude Shannons information theory (1949) has had a revolutionary impact on communication science. A crucial property of his framework is that it decouples the meaning of a message from the mechanistic details from the actual communication process itself, which opened the way to solve long-standing communication problems. Here we argue that a similar impact could be expected by applying information theory in the context of complexity science to answer long-standing, cross-domain questions about the nature of complex systems. This happens by decoupling the domain-specific model details (e.g., neuronal networks, ecosystems, flocks of birds) from the cross-domain phenomena that characterize complex systems (e.g., criticality, robustness, tipping points). This goes beyond using information theory as a non-linear correlation measure, namely it allows describing a complex system entirely in terms of the storage, transfer, and modification of informational bits. After all, a phenomenon that does not depend on model details should best be studied in a framework that strips away all such details. We highlight the first successes of information-theoretic descriptions in the recent complexity literature, and emphasize that this type of research is still in its infancy. Finally we sketch how such an information-theoretic description may even lead to a new type of universality among complex systems, with a potentially tremendous impact. The goal of this perspective article is to motivate a paradigm shift in the young field of complexity science using a lesson learnt in communication science.

研究动机与目标

• 通过去除模型特定的细节，解决长期存在的跨领域复杂系统问题。
• 将普遍现象（如临界性与临界点）与特定领域的实现方式解耦。
• 将信息论确立为研究复杂性的基础框架，而不仅限于相关性度量的用途。
• 受香农将意义与通信机制解耦的启发，推动复杂性科学范式的转变。
• 探索通过信息论描述复杂系统，可能催生一种新型普遍性。

提出的方法

• 将香农信息论应用于将复杂系统视为处理信息位的实体。
• 聚焦于核心信息论量：熵、传递熵与算法复杂性。
• 以信息存储、传递与修改作为系统行为的核心描述符。
• 将所有复杂系统——神经网络、生态系统、鸟群——视为信息处理系统，而不参考其具体机制。
• 以信息在组件间如何被存储、共享与转化来形式化系统动力学。
• 强调剥离特定领域的语法，以揭示跨系统的模式。

实验结果

研究问题

• RQ1 信息论如何能在不依赖特定模型细节的情况下描述复杂系统？
• RQ2 哪些复杂系统的普遍特性可以通过信息论度量捕捉？
• RQ3 若聚焦于信息处理而非结构或动力学细节，能否形成复杂系统的统一描述？
• RQ4 信息论在何种程度上能促进对跨领域临界性与鲁棒性等现象的深入理解？
• RQ5 通过信息论描述复杂系统，可能涌现出何种新型普遍性？

主要发现

• 本文表明，信息论描述能够剥离特定领域的语法，同时保留系统层面的关键行为。
• 通过聚焦于信息存储、传递与修改，该框架实现了复杂系统在跨领域间的比较。
• 该方法揭示出临界性与临界点等现象并非依赖于特定模型，而是依赖于信息动力学。
• 该方法为识别复杂系统中的普遍原理提供了基础，类似于香农理论如何革新通信科学。
• 该框架尚处于早期阶段，但文献中已有的初步成功表明其具有广泛适用的强潜力。
• 作者认为，这一视角可能催生复杂性科学中一种新型的普遍性，其基础在于信息处理，而非结构或功能的相似性。