[论文解读] Turing Computation with Recurrent Artificial Neural Networks

Giovanni Sirio Carmantini, Peter beim Graben+2 more|arXiv (Cornell University)|Nov 4, 2015

Computability, Logic, AI Algorithms参考文献 13被引用 4

一句话总结

本文提出了一种新颖且简洁的映射方法，通过非线性动力自动机（NDA）将图灵机映射到一阶循环人工神经网络（R-ANN），实现了对任意图灵机的实时仿真，同时显著降低了网络复杂度。该方法将神经元数量减少了3倍——仅用259个神经元即可仿真明斯基的7状态、4符号通用图灵机，而此前方法需886个神经元——同时保持了基于分段仿射线性系统的透明且可构造的动力学特性。

ABSTRACT

We improve the results by Siegelmann & Sontag (1995) by providing a novel and parsimonious constructive mapping between Turing Machines and Recurrent Artificial Neural Networks, based on recent developments of Nonlinear Dynamical Automata. The architecture of the resulting R-ANNs is simple and elegant, stemming from its transparent relation with the underlying NDAs. These characteristics yield promise for developments in machine learning methods and symbolic computation with continuous time dynamical systems. A framework is provided to directly program the R-ANNs from Turing Machine descriptions, in absence of network training. At the same time, the network can potentially be trained to perform algorithmic tasks, with exciting possibilities in the integration of approaches akin to Google DeepMind's Neural Turing Machines.

研究动机与目标

• 开发一种比以往方法更为简洁透明的图灵机与循环人工神经网络（R-ANN）之间的映射方法。
• 利用非线性动力自动机（NDA）的最新进展，构建任意图灵机的实时一阶R-ANN仿真器。
• 实现无需反向传播或训练即可从图灵机描述直接编程R-ANN。
• 为学习算法的符号化读出以及与可微学习框架（如神经图灵机）的集成奠定基础。
• 探索连续时间动力系统在建模为NDA仿真R-ANN时的计算能力。

提出的方法

• 该方法通过图灵机配置的双无限带点序列表示，将图灵机映射为广义移位（Generalized Shift）。
• 广义移位被编码为单位正方形上的二维分段仿射线性系统，形成非线性动力自动机（NDA）。
• 随后，通过三种神经元类型将NDA映射为一阶R-ANN：MCL（记忆控制）、BSL（状态转移）和LTL（转移逻辑），突触权重取值于{0, 1, h/2, -h/2}，并包含偏置项。
• R-ANN使用阶梯激活函数触发阈值穿越并应用仿射变换，从而实现实时仿真NDA动力学。
• 网络架构完全由图灵机的状态集和符号集决定，总神经元数为 n_units = 2 + n_s + n_s*n_q + 2*n_s²*n_q + 1。
• 实现固定点停机条件，当网络状态满足 ζ₁(x′, y′) = (x′, y′) 时，计算停止，对应于停机配置。

实验结果

研究问题

• RQ1 能否通过一种构造性、透明且最小化的架构，实现实时一阶R-ANN对图灵机的仿真？
• RQ2 能否借助NDA理论，使图灵机到R-ANN的映射更加简洁系统化？
• RQ3 是否可能直接从图灵机描述编程R-ANN而无需训练，从而实现端到端的符号计算？
• RQ4 所得到的R-ANN能否支持对学习算法的符号化读出，尤其是在与可微学习框架结合时？
• RQ5 当建模为NDA仿真R-ANN时，连续时间动力系统的计算能力如何？

主要发现

• 所提方法仅用259个神经元即可仿真明斯基的7状态、4符号通用图灵机，相比塞格尔曼与松塔格早期方法所需的886个神经元，减少了3倍。
• 由于其直接且可构造地源自底层分段仿射线性NDA动力学，所得到的R-ANN架构显著简化且更加透明。
• 网络通过固定点停机条件实现实时仿真图灵机计算，其中 ζ₁(x′, y′) = (x′, y′) 表示计算终止。
• 该方法满足交换性性质 ζ∘ρ = ρ∘Φ，证实R-ANN正确仿真了NDA，从而也正确仿真了原始图灵机。
• 该框架实现了从图灵机描述直接编程R-ANN，无需训练或反向传播。
• 该方法为符号计算与可微学习的集成开辟了新路径，尤其适用于类似谷歌DeepMind的神经图灵机模型。