[论文解读] Understanding Recurrent Neural Networks Using Nonequilibrium Response Theory

Soon Hoe Lim|arXiv (Cornell University)|Jun 19, 2020

stochastic dynamics and bifurcation参考文献 91被引用 7

一句话总结

本文应用统计力学中的非平衡响应理论，推导出连续时间随机循环神经网络（SRNNs）的Volterra级数表示，揭示其输出由递归定义的相关函数决定。关键贡献在于识别出一个通用的‘响应特征’——输入信号的张量签名与自然基底的组合，使隐藏权重固定的SRNN能够作为再生核希尔伯特空间中的核机器运行。

ABSTRACT

Recurrent neural networks (RNNs) are brain-inspired models widely used in machine learning for analyzing sequential data. The present work is a contribution towards a deeper understanding of how RNNs process input signals using the response theory from nonequilibrium statistical mechanics. For a class of continuous-time stochastic RNNs (SRNNs) driven by an input signal, we derive a Volterra type series representation for their output. This representation is interpretable and disentangles the input signal from the SRNN architecture. The kernels of the series are certain recursively defined correlation functions with respect to the unperturbed dynamics that completely determine the output. Exploiting connections of this representation and its implications to rough paths theory, we identify a universal feature -- the response feature, which turns out to be the signature of tensor product of the input signal and a natural support basis. In particular, we show that SRNNs, with only the weights in the readout layer optimized and the weights in the hidden layer kept fixed and not optimized, can be viewed as kernel machines operating on a reproducing kernel Hilbert space associated with the response feature.

研究动机与目标

• 为理解SRNNs如何利用非平衡统计力学工具处理序列输入提供理论基础。
• 解决RNN动力学中的基本问题：输出如何随时间响应输入，以及是否存在一种普遍机制支配这种响应。
• 建立SRNNs与Volterra级数及路径签名理论之间严谨的数学框架。
• 证明仅训练读出权重而隐藏层权重固定的SRNNs等价于在响应特征空间上运行的核机器。
• 弥合随机动力学、粗糙路径理论与核方法之间的概念联系，以增强RNN的可解释性。

提出的方法

• 利用非平衡响应理论推导SRNN输出的Volterra型级数表示，将输出分解为由未受扰动动力学相关函数导出的核函数。
• 引入‘响应特征’作为输入信号与自然支撑基底的张量积，以捕捉系统对输入扰动的记忆与敏感性。
• 运用巴拿赫空间上的微分学与路径签名理论，将响应特征形式化为通用特征映射。
• 证明仅训练读出权重而隐藏层权重固定的SRNNs等价于在由响应特征定义的再生核希尔伯特空间（RKHS）中运行的核机器。
• 采用严格的数学分析，包括Gronwall不等式与Lipschitz连续性，证明SRNN动力学在扰动下的稳定性和收敛性。
• 利用与粗糙路径理论的联系，确保该表示对不规则输入信号具有鲁棒性与良好定义性。

实验结果

研究问题

• RQ1 连续时间SRNN的输出如何随时间变化的输入信号而响应？
• RQ2 是否存在一个与架构无关的通用特征，能捕捉SRNN的输入-输出响应？
• RQ3 仅固定隐藏层权重的SRNN能否被解释为核机器？若是，其对应的核函数是什么？
• RQ4 输出泛函在输入信号与网络动力学方面的数学结构如何？
• RQ5 在非线性动力系统背景下，响应特征如何与路径签名及Volterra级数表示相关联？

主要发现

• 连续时间SRNN的输出可表示为Volterra级数，其核函数由未受扰动动力学的相关函数递归定义。
• 响应特征——即输入信号签名与自然基底的组合——作为通用特征映射，使SRNN的响应独立于特定隐藏层架构。
• 仅优化读出权重而固定隐藏层权重的SRNNs等价于在以响应特征为核的再生核希尔伯特空间（RKHS）中运行的核机器。
• 响应特征在数学上等价于输入信号的迭代Itô积分，将SRNNs与粗糙路径理论联系起来，确保对不规则输入的鲁棒性。
• 通过Gronwall不等式与Lipschitz连续性论证，证明输出泛函在漂移函数与读出函数的小扰动下保持稳定。
• 该理论框架提供了SRNN动力学的严谨、可解释且通用的描述，支持对循环架构的深入分析与系统化设计。