[论文解读] Neuronal networks and controlled symmetries, a generic framework

Léonard Gérard, Jean-Jacques Slotine|ArXiv.org|Dec 28, 2006

Neural dynamics and brain function参考文献 34被引用 14

一句话总结

本文提出了一种通用框架，利用微分几何中的收缩理论，通过输入连续性控制神经网络中的空间对称性和时空对称性，确保鲁棒同步与多同步。研究表明，具备适当度量的收缩系统可通过输入驱动的动力学强制实现输出对称性，关键结果表明：在系统雅可比矩阵与度量结构满足较弱条件时，系统能实现指数收敛至对称子空间。

ABSTRACT

The extraordinary computational power of the brain may be related in part to the fact that each of the smaller neural networks that compose it can behave transiently in many different ways, depending on its inputs. Mathematically, input continuity helps to show how a large network, constructed recursively from smaller blocks, can exhibit robust specific properties according to its input. By extending earlier work on synchrony and symmetry, we exploit input continuity of contracting systems to ensure robust control of diverse spatial and spatio-temporal symmetries of the output signal in such a network.

研究动机与目标

• 开发一种通用框架，通过输入驱动动力学控制神经网络中的空间与时空对称性。
• 探讨神经网络如何通过依赖输入的瞬态行为实现行为多样性，同时保持稳定性。
• 形式化输入连续性与收缩理论之间的联系，以在非线性动力系统中实现鲁棒对称性控制。
• 通过利用收缩度量与李连续对称性，拓展现有关于同步与多同步的研究结果。
• 提供一种数学上严谨的方法，确保神经网络模型收敛至对称子空间。

提出的方法

• 本文采用收缩理论分析非线性动力系统中轨迹向期望对称子空间指数收敛的特性。
• 使用广义雅可比矩阵 $ F = (\frac{d\theta}{dt} + \theta \frac{\partial f}{\partial x}) \theta^{-1} $ 判断收缩性，其中 $ \theta $ 为时变变换矩阵。
• 采用收缩度量 $ M(x,t) = \theta^T \theta $ 以确保全局指数稳定性和对扰动的鲁棒性。
• 该框架应用文献[24]中的定理2，证明系统向线性、流不变子空间 $ \mathcal{M} $ 收敛，其中投影矩阵 $ V $ 用于定义该子空间。
• 利用循环矩阵结构分析对称系统，其中系统矩阵的特征值 $ \mu_j' $ 决定收敛至同步状态的特性。
• 通过部分等距变换与矩阵变换，保持投影至子空间时的收缩性质，确保在对称性约束下的鲁棒性。

实验结果

研究问题

• RQ1 如何利用非线性神经网络中的输入连续性，生成多样化瞬态行为，同时保持稳定性？
• RQ2 在外部输入作用下，何种条件可确保网络输出表现出受控的空间或时空对称性？
• RQ3 收缩理论能否形式化保证在最小输入影响下，神经网络收敛至对称子空间？
• RQ4 李连续对称性与循环结构如何与神经系统中同步与多同步的出现相关联？
• RQ5 广义雅可比矩阵 $ F $ 与收缩度量 $ M $ 在确保鲁棒对称性控制中起何种作用？

主要发现

• 当广义雅可比矩阵 $ F $ 为一致负定矩阵时，系统表现出全局指数收敛至单一轨迹，确保鲁棒性与稳定性。
• 若投影系统 $ \dot{y} = Vf(V^T y, t) $ 相对于常数度量为收缩，则可保证系统向对称子空间 $ \mathcal{M} $ 收敛。
• 对于循环系统，当系统矩阵的所有非零特征值 $ \mu_j' $ 为负时，系统实现对所有同步状态的指数收敛，等价于 $ \lambda_j' < 0 $（$ j = 1, \dots, n'-1 $）。
• 该框架确保输出对称性在输入连续性下得以保持与控制，即使在小扰动或动力学变化下亦成立。
• 通过使用部分等距变换与矩阵变换，可在子空间上构造有效的收缩度量，保持对称性约束下的收缩性质。
• 该方法具有鲁棒性与通用性，适用于连续时间与离散时间系统，并可扩展至混合系统与分层网络结构。