[论文解读] Spatial and Colour Opponency in Anatomically Constrained Deep Networks

Ethan Harris, Daniela Mihai+1 more|arXiv (Cornell University)|Oct 14, 2019

Visual perception and processing mechanisms参考文献 25被引用 6

一句话总结

该论文表明，当受到视网膜瓶颈约束时，空间与颜色拮抗——生物视觉的关键特征——在深度卷积神经网络中自然涌现。通过神经生理学启发的分析，作者发现，包括双拮抗细胞在内的光谱与空间拮抗细胞会响应自然图像统计特性而出现，揭示了一种与灵长类视觉系统相类似的组织功能。

ABSTRACT

Colour vision has long fascinated scientists, who have sought to understand both the physiology of the mechanics of colour vision and the psychophysics of colour perception. We consider representations of colour in anatomically constrained convolutional deep neural networks. Following ideas from neuroscience, we classify cells in early layers into groups relating to their spectral and spatial functionality. We show the emergence of single and double opponent cells in our networks and characterise how the distribution of these cells changes under the constraint of a retinal bottleneck. Our experiments not only open up a new understanding of how deep networks process spatial and colour information, but also provide new tools to help understand the black box of deep learning. The code for all experiments is avaialable at \url{https://github.com/ecs-vlc/opponency}.

研究动机与目标

• 研究在生物上合理的约束下，空间与颜色拮抗是否会在深度神经网络中自然涌现。
• 从光谱与空间拮抗特性角度，表征早期层单元的功能组织。
• 确定拮抗细胞分布是否由输入统计特性驱动，而非网络架构设计。
• 开发神经生理学启发的工具，用于解释深度学习模型中隐藏单元的功能。

提出的方法

• 训练一个两阶段深度CNN，在第二层引入瓶颈，以模拟视网膜与腹侧流。
• 使用类微电极刺激（条纹、色斑）探测单元响应。
• 根据对刺激的响应模式，将单元分类为光谱拮抗、空间拮抗或双拮抗。
• 通过红/绿与蓝/黄刺激下的响应差异来测量光谱拮抗。
• 通过运动条纹刺激下的中心-周边响应模式来测量空间拮抗。
• 通过在CIELAB编码图像上训练并打乱颜色通道以破坏光谱统计，验证研究结果。

实验结果

研究问题

• RQ1 视网膜瓶颈是否会在深度CNN中诱导出光谱与空间拮抗细胞？
• RQ2 拮抗细胞类型在不同网络层与瓶颈宽度下的分布如何变化？
• RQ3 拮抗细胞特性在多大程度上依赖于自然图像的统计结构？
• RQ4 在自然图像上训练的深度网络中，双拮抗细胞能否出现？其在各层中的分布如何？

主要发现

• 视网膜瓶颈诱导出功能层级：早期视网膜层主要包含空间拮抗细胞，而后期腹侧流层则表现出更多非拮抗细胞。
• 光谱拮抗在早期层最强，随深度增加而减弱，与生物视觉一致。
• 双拮抗细胞——对颜色与空间模式均有响应——在瓶颈宽度减小时逐渐出现并比例上升。
• 在CIELAB编码图像上训练时，双拮抗细胞的分布几乎保持不变，表明其对颜色空间变换具有鲁棒性。
• 打乱颜色通道会消除光谱拮抗，但保留空间拮抗，证实拮抗响应源于图像统计特性，而非网络架构。
• 功能组织更强烈地与输出层的距离相关，而非与输入的接近程度相关，提示存在依赖深度的功能原型。