[论文解读] Transfer entropy-based feedback improves performance in artificial neural networks

Sebastian Herzog, Christian Tetzlaff+1 more|arXiv (Cornell University)|Jun 13, 2017

Neural dynamics and brain function参考文献 35被引用 5

一句话总结

本文提出了一种人工神经网络中的反馈机制，利用转移熵识别并增强最相关的前向传播路径，显著提升了浅层AlexNet架构的性能。通过基于神经元间转移熵的反馈连接结构设计，该方法在CIFAR-10上实现了10%的准确率提升，尽管仅使用少量网络层和极少额外参数，其性能已与当前最先进的深度网络相当。

ABSTRACT

The structure of the majority of modern deep neural networks is characterized by uni- directional feed-forward connectivity across a very large number of layers. By contrast, the architecture of the cortex of vertebrates contains fewer hierarchical levels but many recurrent and feedback connections. Here we show that a small, few-layer artificial neural network that employs feedback will reach top level performance on a standard benchmark task, otherwise only obtained by large feed-forward structures. To achieve this we use feed-forward transfer entropy between neurons to structure feedback connectivity. Transfer entropy can here intuitively be understood as a measure for the relevance of certain pathways in the network, which are then amplified by feedback. Feedback may therefore be key for high network performance in small brain-like architectures.

研究动机与目标

• 在不增加深度或参数数量的前提下，提升浅层、少层人工神经网络（AlexNet）的性能。
• 探究基于转移熵结构化的反馈连接是否能够增强信号传输效率与分类准确率。
• 通过模拟脊椎动物皮层的反馈丰富、分层结构，弥合人工神经网络与大脑之间的架构差距。
• 确定转移熵是否可作为识别深度网络中高相关处理路径的生物上合理的度量指标。

提出的方法

• 计算前向传播路径中神经元之间的转移熵，以量化信息从一个节点流向另一个节点的相关性。
• 将转移熵用作定义反馈连接性的标准：远距离节点间转移熵越高，反馈增强越强。
• 仅在AlexNet的卷积层2至5之间引入反馈权重，反馈强度与转移熵值成正比。
• 对中间层进行条件化处理，以评估长程信息传递，特别是非相邻层之间的信息传递。
• 在不重新训练网络的前提下应用反馈连接；仅在反向传播后添加反馈权重，以保留原始网络学习到的特征。
• 采用简化的离散时间转移熵公式，其中d=1，聚焦于序列图像输入，以估计节点活动之间的因果影响。

实验结果

研究问题

• RQ1 基于转移熵结构化的反馈连接是否能提升浅层人工神经网络的分类性能？
• RQ2 转移熵是否可作为可靠度量，用于识别最相关的前向传播路径并利用反馈进行增强？
• RQ3 与随机或均匀分布的反馈相比，基于转移熵的反馈在性能提升方面表现如何？
• RQ4 具有目标反馈的少层网络在多大程度上可达到远比其更深的标准前馈网络的性能？
• RQ5 由转移熵生成的反馈模式与脊椎动物新皮层中观察到的反馈连接性之间是否存在结构相似性？

主要发现

• 基于转移熵的反馈机制使CIFAR-10上的top-1准确率相比标准前馈AlexNet提升了10%，性能达到远比其更深的当前最先进模型的水平。
• 该方法仅增加了约75%的连接数和极少额外参数，所有新增参数均较小，且在训练后添加。
• 反馈连接主要为长程连接，因为远距离层之间的转移熵高于相邻层之间，从而显著增强了长路径信号的放大。
• 控制实验表明，当反馈不遵循基于转移熵的结构时，性能下降，证实了所提连接规则的重要性。
• 该框架自然放大了前向传播收敛度较低的路径（这在深层网络中很常见），同时通过最小化对已有强局部连接的放大，避免了活动失控。
• 所得反馈架构与哺乳动物新皮层中观察到的前向与反馈连接交错的模式高度相似，表明该方法具有潜在的生物学合理性。