[论文解读] View-tolerant face recognition and Hebbian learning imply mirror-symmetric neural tuning to head orientation

Joel Z. Leibo, Qianli Liao+3 more|arXiv (Cornell University)|Jun 5, 2016

Face Recognition and Perception被引用 8

一句话总结

该论文表明，在分层神经网络中，一种生物上合理的赫布可塑性学习规则可自然地在中间层生成对头部朝向的镜像对称调谐，从而解释了灵长类大脑面部处理神经元在AL区的关键特征。该机制源于对对称面部轨道（通过反射群 G = {e, R}）进行训练，确保协方差矩阵的主成分为奇函数或偶函数，从而产生对视图不变性面部识别至关重要的镜像对称响应。

ABSTRACT

The primate brain contains a hierarchy of visual areas, dubbed the ventral stream, which rapidly computes object representations that are both specific for object identity and relatively robust against identity-preserving transformations like depth-rotations. Current computational models of object recognition, including recent deep learning networks, generate these properties through a hierarchy of alternating selectivity-increasing filtering and tolerance-increasing pooling operations, similar to simple-complex cells operations. While simulations of these models recapitulate the ventral stream's progression from early view-specific to late view-tolerant representations, they fail to generate the most salient property of the intermediate representation for faces found in the brain: mirror-symmetric tuning of the neural population to head orientation. Here we prove that a class of hierarchical architectures and a broad set of biologically plausible learning rules can provide approximate invariance at the top level of the network. While most of the learning rules do not yield mirror-symmetry in the mid-level representations, we characterize a specific biologically-plausible Hebb-type learning rule that is guaranteed to generate mirror-symmetric tuning to faces tuning at intermediate levels of the architecture.

研究动机与目标

• 解释为何灵长类大脑面部处理网络中，特别是在AL区，会出现对头部朝向的镜像对称调谐。
• 识别在分层神经网络中生成这种镜像对称性的学习规则与架构条件，该对称性是实现视图不变性面部识别的必要中间步骤。
• 通过展示特定学习规则可重现关键神经生理学发现，弥合分层深度学习模型与生物神经表征之间的鸿沟。
• 证明在对称面部轨道数据上应用赫布学习可产生本质上为奇函数或偶函数的特征函数，从而导致镜像对称调谐。

提出的方法

• 使用具有交替滤波和池化操作的分层深度卷积网络架构，模拟腹侧流从视图特定到视图不变表征的进展过程。
• 在一组形成反射群 G = {e, R} 下轨道的面部图像数据集上，应用一种生物上合理的赫布学习规则（具体为Oja规则）训练网络，该群代表正面、左侧面和右侧面的视图。
• 数学上证明，在此训练设置下，输入协方差矩阵的主成分（特征函数）在反射下必须为偶函数或奇函数，从而导致镜像对称的神经响应。
• 通过主成分分析（PCA）和独立成分分析（ICA）的特征提取进行经验验证，表明只有PCA（保留对称性）能产生镜像对称响应，而ICA则不能。
• 分析在群协方差下的权重更新动态，证明学习规则在反射群下是等变的，从而确保学习表征中的对称性。
• 通过协方差矩阵对称性的理论分析（C(X) 与反射 R 可交换），证明共享特征函数必须为奇函数或偶函数，直接将数据结构与神经调谐联系起来。

实验结果

研究问题

• RQ1 为何灵长类大脑在AL区产生对头部朝向的镜像对称调谐，尽管在ML等早期区域中并不存在此类调谐？
• RQ2 在分层神经网络中，何种特定学习规则可使镜像对称调谐作为涌现属性产生？
• RQ3 训练数据的结构——特别是反射对称轨道的存在——如何促成镜像对称表征的出现？
• RQ4 为何标准深度学习模型即使实现了视图不变性，也无法再现镜像对称调谐？
• RQ5 生物上合理的学习规则（如赫布学习）能否同时生成视图不变性与镜像对称性？

主要发现

• 在反射对称轨道（G = {e, R}）下对人脸图像应用赫布学习规则（具体为Oja规则），可生成本质上为奇函数或偶函数的主成分，从而导致镜像对称的神经调谐。
• 训练数据的协方差矩阵与反射算子 R 可交换，确保其特征函数也是 R 的特征函数，因此必须为奇函数或偶函数。
• 这种主成分中的对称性直接解释了在猕猴面部处理网络AL区实验观察到的镜像对称调谐现象。
• 实证结果表明，基于PCA的特征提取能保留镜像对称性，而基于ICA的提取则不能，证实了数据结构对称性在生成对称表征中的关键作用。
• 理论分析证明，学习规则的权重更新动态在反射群下是等变的，确保对称性在训练过程中得以保持。
• 本研究识别出一种特定机制——对称数据轨道与赫布学习的结合——可解释标准深度学习模型未能捕捉的关键神经生理特征（镜像对称调谐）。