[论文解读] Single Unit Status in Deep Convolutional Neural Network Codes for Face Identification: Sparseness Redefined

Connor J. Parde, Yvette Colón+4 more|arXiv (Cornell University)|Feb 14, 2020

Face recognition and analysis参考文献 35被引用 9

一句话总结

本文研究了深度卷积神经网络（DCNNs）在单个神经元与群体水平上如何编码人脸身份、性别和视角。通过系统性地剪枝顶层神经元，发现即使仅保留2个神经元，身份识别性能依然保持稳健（AUC ≈ 1.0），揭示了稀疏且非冗余的分布式编码机制。相比之下，性别和视角分类性能下降更为显著，表明不同属性在相同高维空间中通过不同的编码策略进行表征。

ABSTRACT

Deep convolutional neural networks (DCNNs) trained for face identification develop representations that generalize over variable images, while retaining subject (e.g., gender) and image (e.g., viewpoint) information. Identity, gender, and viewpoint codes were studied at the "neural unit" and ensemble levels of a face-identification network. At the unit level, identification, gender classification, and viewpoint estimation were measured by deleting units to create variably-sized, randomly-sampled subspaces at the top network layer. Identification of 3,531 identities remained high (area under the ROC approximately 1.0) as dimensionality decreased from 512 units to 16 (0.95), 4 (0.80), and 2 (0.72) units. Individual identities separated statistically on every top-layer unit. Cross-unit responses were minimally correlated, indicating that units code non-redundant identity cues. This "distributed" code requires only a sparse, random sample of units to identify faces accurately. Gender classification declined gradually and viewpoint estimation fell steeply as dimensionality decreased. Individual units were weakly predictive of gender and viewpoint, but ensembles proved effective predictors. Therefore, distributed and sparse codes co-exist in the network units to represent different face attributes. At the ensemble level, principal component analysis of face representations showed that identity, gender, and viewpoint information separated into high-dimensional subspaces, ordered by explained variance. Identity, gender, and viewpoint information contributed to all individual unit responses, undercutting a neural tuning analogy for face attributes. Interpretation of neural-like codes from DCNNs, and by analogy, high-level visual codes, cannot be inferred from single unit responses. Instead, "meaning" is encoded by directions in the high-dimensional space.

研究动机与目标

• 理解深度卷积神经网络（DCNNs）在单个神经元与群体水平上如何表征人脸身份、性别和视角。
• 检验DCNN顶层中单个神经元是否能独立编码特定人脸属性，或仅在集体作用下才实现编码。
• 确定顶层神经元的稀疏随机子空间是否能维持高的人脸识别准确率。
• 探究单个神经元对多种属性的贡献程度，挑战“特征特异性调谐”的传统观念。
• 评估DCNN中神经编码的“意义”是否可仅通过单个神经元响应推断，还是必须依赖群体水平分析。

提出的方法

• 在包含580万张图像、5.8万个身份的Universe数据集上训练ResNet-101 DCNN，采用Crystal Loss（L2 Softmax）损失函数，α = 50。
• 提取倒数第二层（512维表示）作为顶层人脸描述符，用于身份、性别和视角分析。
• 通过在IJB-C数据集中保留的22,248张人脸测试集上计算AUC，评估身份识别性能，每组使用5,562张图像的随机划分。
• 采用线性判别分析（LDA）与100折交叉验证评估性别分类，每折保留300个身份。
• 使用Moore-Penrose广义逆矩阵进行线性回归，以正面姿态的偏航偏差作为真实标签，预测视角。
• 执行1,000次置换检验以评估性别与视角预测的统计显著性，所有结果的p < 0.001。
• 对每个512个神经元及512个主成分（PCs）进行方差分析（ANOVA），以身份、性别和视角为因变量，人脸图像为随机效应因子。

实验结果

研究问题

• RQ1 在训练好的DCNN中，是否仅使用顶层神经元的稀疏随机子集即可实现准确的人脸身份识别？
• RQ2 单个神经元在DCNN中如何贡献于身份、性别和视角的表征？
• RQ3 人脸属性信息在神经元间如何分布？其表征是否依赖于群体活动？
• RQ4 单个神经元响应是否足以解释性别或视角等类别属性的编码？
• RQ5 顶层表征的主成分如何与身份、性别和视角信息的分离相关？

主要发现

• 即使仅从512个神经元的顶层中使用2个神经元，人脸识别性能仍保持极高水平（AUC ≈ 1.0），表明对极端稀疏性的鲁棒性。
• 每个顶层神经元均可统计分离出不同身份，表明每个神经元均贡献独特的身份信息。
• 神经元间响应相关性极低，表明其编码的是非冗余、独立的身份线索。
• 随着神经元剪枝，性别分类性能逐渐下降，表明性别信息编码于更广泛、分布式的神经元群体中。
• 随着神经元数量减少，视角估计性能急剧下降，表明视角编码对群体活动更为敏感，依赖于群体协同。
• 方差分析结果表明，身份、性别和视角信息均对所有单个神经元响应有贡献，挑战了人脸属性具有严格神经调谐特性的观点。