[论文解读] On active information storage in input-driven systems

Oliver Obst, Joschka Boedecker+2 more|arXiv (Cornell University)|Mar 22, 2013

Gaussian Processes and Bayesian Inference参考文献 4被引用 7

一句话总结

本文提出了输入校正主动信息存储（icAIS），这是针对神经网络和皮层回路等输入驱动系统中主动信息存储（AIS）的一种新颖扩展。通过同时基于过去状态和当前输入来条件化存储度量，icAIS 将内在记忆与输入驱动效应分离，从而更准确地量化非自主系统中的真实信息存储。通过解析和模拟示例的验证，结果具有一致性和直观性。

ABSTRACT

Information theory and the framework of information dynamics have been used to provide tools to characterise complex systems. In particular, we are interested in quantifying information storage, information modification and information transfer as characteristic elements of computation. Although these quantities are defined for autonomous dynamical systems, information dynamics can also help to get a "wholistic" understanding of input-driven systems such as neural networks. In this case, we do not distinguish between the system itself, and the effects the input has to the system. This may be desired in some cases, but it will change the questions we are able to answer, and is consequently an important consideration, for example, for biological systems which perform non-trivial computations and also retain a short-term memory of past inputs. Many other real world systems like cortical networks are also heavily input-driven, and application of tools designed for autonomous dynamic systems may not necessarily lead to intuitively interpretable results. The aim of our work is to extend the measurements used in the information dynamics framework for input-driven systems. Using the proposed input-corrected information storage we hope to better quantify system behaviour, which will be important for heavily input-driven systems like artificial neural networks to abstract from specific benchmarks, or for brain networks, where intervention is difficult, individual components cannot be tested in isolation or with arbitrary input data.

研究动机与目标

• 解决标准主动信息存储（AIS）在输入驱动系统中的局限性，即输入效应与系统内在记忆被混淆。
• 开发一个正式框架，将由内部动力学引起的信息存储与由外部输入引起的信息存储分离开来。
• 实现对非自主系统（如循环神经网络和皮层网络）计算特性的更可解释、更准确表征。
• 为难以或不可能进行干预的系统（如生物脑网络）提供一种研究工具。

提出的方法

• 提出输入校正主动信息存储（icAIS）作为标准主动信息存储的改进，基于过去状态和当前输入进行条件化。
• 使用条件概率定义icAIS：icAIS = log[P(x_{n+1} | x_n^{(k)}, u_{n+1}) / P(x_{n+1} | u_{n+1})]，以捕捉超出输入影响的存储信息。
• 应用部分信息分解（PID）框架，将信息分解为冗余、唯一和协同成分。
• 将icAIS与交互信息联系起来，表明icAIS = AIS + I，其中I是输入、过去状态和未来状态之间的交互信息。
• 通过解析示例验证该方法，包括一个二进制XOR单元和一个简单记忆单元，结果具有一致性和直观性。
• 证明当输入和历史状态共同决定下一状态时，icAIS能正确识别存储的信息，即使输入本身不足以预测。

实验结果

研究问题

• RQ1 如何有意义地将主动信息存储扩展到输入与系统动力学相互混淆的输入驱动系统？
• RQ2 在非自主系统中，输入在多大程度上影响信息存储的测量？
• RQ3 icAIS能否区分由内部状态记忆引起的信息存储与由输入驱动转换引起的信息存储？
• RQ4 icAIS与既有的信息论度量（如交互信息和部分信息分解）有何关系？
• RQ5 在简单且可分析的系统中，icAIS是否产生直观且一致的结果？

主要发现

• icAIS 成功地将内在记忆与输入驱动效应分离，在测试案例中产生与直观预期一致的数值。
• 对于一个记忆单元，icAIS 正确测量出1比特的存储信息，且与输入无关，证实其能够捕捉真实的记忆容量。
• 在XOR单元中，当过去状态和输入均已知时，icAIS 输出1比特存储；而仅凭输入则无预测能力，验证了该方法对协同效应的敏感性。
• 关系式icAIS = AIS + I 经过解析推导，表明icAIS 捕获了标准AIS之外的输入与历史之间的交互作用。
• 该方法能有效区分冗余与协同贡献，从而在复杂系统中实现更清晰的解释。
• 该框架为量化传统AIS因输入依赖性而失效的系统中的记忆提供了一种有原则的方法，尤其适用于生物和人工神经网络。