[论文解读] Recurrent Feedback Improves Feedforward Representations in Deep Neural Networks

Siming Yan, Xuyang Fang+4 more|arXiv (Cornell University)|Dec 22, 2019

Neural dynamics and brain function参考文献 22被引用 6

一句话总结

本文提出一种受生物学启发的深度神经网络，其在VGG16架构中引入了层间循环反馈和水平连接。通过反馈进行微调，网络在不改变视觉概念的前提下，通过稳定关键语义簇周围的前向表示，增强了对噪声和遮挡的鲁棒性，从而提升性能。

ABSTRACT

The abundant recurrent horizontal and feedback connections in the primate visual cortex are thought to play an important role in bringing global and semantic contextual information to early visual areas during perceptual inference, helping to resolve local ambiguity and fill in missing details. In this study, we find that introducing feedback loops and horizontal recurrent connections to a deep convolution neural network (VGG16) allows the network to become more robust against noise and occlusion during inference, even in the initial feedforward pass. This suggests that recurrent feedback and contextual modulation transform the feedforward representations of the network in a meaningful and interesting way. We study the population codes of neurons in the network, before and after learning with feedback, and find that learning with feedback yielded an increase in discriminability (measured by d-prime) between the different object classes in the population codes of the neurons in the feedforward path, even at the earliest layer that receives feedback. We find that recurrent feedback, by injecting top-down semantic meaning to the population activities, helps the network learn better feedforward paths to robustly map noisy image patches to the latent representations corresponding to important visual concepts of each object class, resulting in greater robustness of the network against noises and occlusion as well as better fine-grained recognition.

研究动机与目标

• 研究循环反馈和上下文调制如何提升深度神经网络中前向表示的鲁棒性。
• 确定训练期间的反馈是否改变了潜在表示中嵌入的视觉概念，或仅提升了其在干扰下的稳定性。
• 评估自上而下和侧向反馈对细粒度物体识别以及噪声/遮挡鲁棒性的影响。
• 表征反馈如何影响深层网络层中群体编码的聚类与可分性。

提出的方法

• 在VGG16相邻阶段之间引入三个循环反馈回路，构建VGG-CM模型，模拟灵长类视觉皮层的连接模式。
• 采用微电路设计，通过局部水平连接和自上而下的反馈连接调制中间层的活动。
• 使用带反馈信号的反向传播进行网络微调，使上下文信息能够塑造早期层的表示。
• 将视觉概念定义为pool3层中潜在表示的聚类，通过类内频率和类间唯一性来衡量概念重要性并进行排序。
• 通过评估噪声补丁在干净补丁所属视觉概念中的映射频率，以及计算其与聚类中心的平均距离，来衡量鲁棒性。
• 使用d-prime量化反馈微调前后群体编码中不同物体类别之间的可分性。

实验结果

研究问题

• RQ1 训练期间的循环反馈是否能提升前向网络对噪声和遮挡的鲁棒性？
• RQ2 反馈如何影响潜在表示中视觉概念的稳定性和聚类特性？
• RQ3 性能提升是源于视觉概念本身的改变，还是源于输入到这些概念的映射方式的改善？
• RQ4 反馈在多大程度上增强了群体编码中不同物体类别之间的可分性？
• RQ5 反馈能否帮助将受损图像补丁的语义映射保持在其正确的潜在表示上？

主要发现

• 使用循环反馈进行微调显著提升了对50%高斯噪声和遮挡的鲁棒性，即使在前向传播阶段亦然。
• 与标准VGG16相比，VGG-CM-0模型在原始视觉概念聚类中保留了多15-20%的噪声补丁。
• 在VGG-CM-0中，噪声表示与原始概念中心的平均距离减少了25%，表明其稳定性更高。
• 群体编码中不同物体类别之间的可分性（d-prime）在反馈影响的最早层也有所提升。
• 视觉概念的身份及其重要性排序基本保持不变，表明性能提升源于表示的稳定性，而非概念结构的重新组织。
• 主要优势源于反馈引导前向路径更好地映射到鲁棒且语义有意义的聚类，从而在不改变核心概念的前提下提升了性能。