[论文解读] The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks

Aaron Spieler, Nasim Rahaman+3 more|arXiv (Cornell University)|Jun 14, 2023

Advanced Memory and Neural ComputingEngineering被引用 3

一句话总结

表达性漏失记忆（ELM）神经元是一种受生物学启发的、现象学的循环神经元模型，通过使用少量缓慢衰减的记忆状态和两层非线性突触整合，以少于10,000个参数准确复制了高保真生物物理皮层神经元模型的尖峰级输入-输出行为——与先前方法相比，参数量大幅减少。该模型在长时序任务中实现了最先进性能，包括在16k上下文长度下以超过70%的准确率解决Pathfinder-X任务，优于Transformer和Chrono-LSTM。

ABSTRACT

Biological cortical neurons are remarkably sophisticated computational devices, temporally integrating their vast synaptic input over an intricate dendritic tree, subject to complex, nonlinearly interacting internal biological processes. A recent study proposed to characterize this complexity by fitting accurate surrogate models to replicate the input-output relationship of a detailed biophysical cortical pyramidal neuron model and discovered it needed temporal convolutional networks (TCN) with millions of parameters. Requiring these many parameters, however, could stem from a misalignment between the inductive biases of the TCN and cortical neuron's computations. In light of this, and to explore the computational implications of leaky memory units and nonlinear dendritic processing, we introduce the Expressive Leaky Memory (ELM) neuron model, a biologically inspired phenomenological model of a cortical neuron. Remarkably, by exploiting such slowly decaying memory-like hidden states and two-layered nonlinear integration of synaptic input, our ELM neuron can accurately match the aforementioned input-output relationship with under ten thousand trainable parameters. To further assess the computational ramifications of our neuron design, we evaluate it on various tasks with demanding temporal structures, including the Long Range Arena (LRA) datasets, as well as a novel neuromorphic dataset based on the Spiking Heidelberg Digits dataset (SHD-Adding). Leveraging a larger number of memory units with sufficiently long timescales, and correspondingly sophisticated synaptic integration, the ELM neuron displays substantial long-range processing capabilities, reliably outperforming the classic Transformer or Chrono-LSTM architectures on LRA, and even solving the Pathfinder-X task with over 70% accuracy (16k context length).

研究动机与目标

• 开发一种受生物学启发、高效的皮层神经元替代模型，能够在不依赖庞大参数量的情况下捕捉复杂的时序整合特性。
• 探究适当的归纳偏置（如漏失记忆单元和非线性树突整合）是否能显著降低建模高保真生物物理神经元输入-输出关系所需的模型复杂度。
• 评估此类模型是否能有效解决长时序机器学习任务，特别是具有极端时间依赖性的任务。
• 探讨在人工神经网络中模仿生物神经元机制（如缓慢记忆衰减和非线性整合）的计算影响。
• 确定最小化、可解释的神经元模型是否能与深度架构在长上下文任务中达到或超越其性能。

提出的方法

• ELM神经元采用一组缓慢衰减的记忆状态（漏失积分器），在长时间尺度上存储时间信息。
• 通过两层非线性变换，突触输入在多个记忆单元间实现非线性整合，实现在无需深层架构的情况下进行表达性计算。
• 使用时间反向传播（BPTT）进行训练，记忆时间常数和非线性程度根据任务需求仔细调整。
• 该架构设计旨在与皮层计算的归纳偏置（如时间整合和树突非线性）保持一致，而非依赖架构复杂性。
• 模型超参数（包括记忆时间常数和记忆单元数量）根据任务长度和复杂度进行调整，更长的时间常数可支持更长上下文任务的性能。
• 模型在Long Range Arena（LRA）基准和一个新型类神经形态数据集（SHD-Adding）上进行评估，并与Transformer、LSTM和S4模型进行性能比较。

(a) A Cortical Neuron

实验结果

研究问题

• RQ1 一个具有极少参数和生物启发归纳偏置的现象学神经元模型，能否准确复制详细生物物理皮层神经元模型的尖峰级输入-输出关系？
• RQ2 与标准时间卷积网络相比，引入漏失记忆单元和非线性树突整合是否能显著减少建模复杂皮层计算所需的参数数量？
• RQ3 此类模型是否能可靠地解决长时序机器学习任务，特别是具有极端上下文长度（如16k个标记）的任务？
• RQ4 ELM神经元在具有长程依赖性的任务中，与Transformer和LSTM等成熟架构相比表现如何？
• RQ5 记忆时间常数和记忆单元数量在多大程度上影响模型捕捉长期时间结构的能力？

主要发现

• ELM神经元使用少于10,000个可训练参数，即可准确复制高保真生物物理神经元的输入-输出关系，相比先前时间卷积网络所需的数百万参数，实现显著减少。
• 在16,000个标记上下文长度的Pathfinder-X任务中，ELM神经元实现了超过70%的准确率——这一结果仅在Chrono-LSTM的超参数调优过程中通过一次运行实现，而Transformer和Longformer则完全未能达成此目标。
• ELM神经元在SHD-Adding类神经形态数据集上优于标准LSTM和Chrono-LSTM，表明其在生物启发长上下文任务中具有强大的泛化能力。
• 模型性能对记忆时间常数初始化高度敏感，更长的时间常数可支持在更长上下文任务中实现可靠性能。
• ELM模型的成功表明，与生物计算对齐的归纳偏置（如漏失记忆和非线性整合）可显著提升序列建模中的样本效率和参数效率。
• 尽管具有生物启发性，该模型并未提供神经计算的机制性解释，因其为计算效率和可解释性而抽象掉了生物物理细节。

(b) The ELM Neuron Architecture