[论文解读] Optimal Memory Encoding Through Fluctuation-Response Structure

Lianxiang CUI, Kohei Nakajima+1 more|arXiv (Cornell University)|Mar 23, 2026

Neural Networks and Reservoir Computing被引用 0

一句话总结

ROME 通过将输入特征与系统的波动与线性响应对齐，确定记忆在水库计算中的最佳输入编码方向，并显示等价于编码器优化中的反向传播。

ABSTRACT

Physical reservoir computing exploits the intrinsic dynamics of physical systems for information processing, while keeping the internal dynamics fixed and training only linear readouts; yet the role of input encoding remains poorly understood. We show that optimal input encoding is a geometric problem governed by the system's fluctuation-response structure. By measuring steady-state fluctuations and linear response, we derive an analytical criterion for the input direction that maximizes task-specific linear memory under a fixed power constraint, termed Response-based Optimal Memory Encoding (ROME). Backpropagation-based encoder optimization is shown to be equivalent to ROME, revealing a trade-off between task-dependent feature mixing and intrinsic noise. We apply ROME to various reservoir platforms, including spin-wave waveguides and spiking neural networks, demonstrating effective encoder design across physical and neuromorphic reservoirs, even in non-differentiable systems.

研究动机与目标

• 激励输入编码与水库任务兼容性如何依赖于水库固有的波动–响应结构。
• 提出几何准则（ROME）以在输入功率约束下最大化任务相关的线性记忆。
• 证明基于反向传播的编码器优化等价于 ROME 准则。
• 展示 ROME 在物理水库和非可微系统中的适用性。

提出的方法

• 将水库建模为带有状态 x(t) 的带噪动系统，输入为 u(t)，方程为 ẋ = f(x) + G u + ξ，并具有平稳参考协方差 Σ_ref。
• 从互协方差与响应 R(τ) 定义记忆函数 MF(τ;G)，并用任务谱 w(τ) 加权形成 J_w(G)。
• 将优化问题设定为在固定输入功率约束下最大化 J_w，得到 M_w = ∫ w(τ) R(τ)ᵀ Σ_ref⁻¹ R(τ) dτ 的特征分解。
• 给出以 M_w 的主特征向量表示的最优编码器 G*，并展示如何扩展到 r 个主动方向。
• 在读出通过线性回归实现最优重构时，证明 ROME 与 BP 的等价性。
• 将 ROME 应用于自旋波物理水库与异质性兴奋性–抑制性尖峰神经网络（SNNs）。

实验结果

研究问题

• RQ1 在水库的波动–响应结构下，如何确定最大化任务相关线性记忆的最优输入编码方向？
• RQ2 如何通过可观测的波动与响应，在固定输入功率约束下量化和优化记忆？
• RQ3 基于反向传播的编码器优化是否收敛到 ROME 标准，在何种条件下成立？
• RQ4 ROME 是否能有效应用于物理水库与非可微系统如尖峰神经网络？
• RQ5 波动–耗散结构在确定水库计算任务可行性中的作用是什么？

主要发现

• ROME 将最佳输入编码方向确定为 M_w 的主特征向量，在任务相关性与固有噪声之间达到平衡。
• 对于线性记忆任务，通过将输入方向对齐于缓慢、低噪声、高响应的动力模式，可最大化 MF(τ;G)。
• 在最优线性读出下，基于 BP 的输入矩阵优化等价于最大化同一记忆目标。
• ROME 在线性与非线性水库中的记忆性能提升明显，包括用于单延迟任务的 ESN 和 NARMA10 基准测试，在低输入功率时尤为显著。
• ROME 适用于物理水库（如自旋波导）与非可微系统（异质性的兴奋性/抑制性 SNNs），其中 BP 不适用。
• 该框架将编码器优化理解为任务特征混合与水库噪声结构之间的几何权衡。