[论文解读] Sparsifying Neural Network Connections for Face Recognition

Yi Sun, Xiaogang Wang+1 more|arXiv (Cornell University)|Dec 7, 2015

Face recognition and analysis参考文献 24被引用 6

一句话总结

本文提出一种基于相关性的迭代稀疏化方法，用于深度卷积神经网络的人脸识别，先训练一个稠密的基线模型，然后通过神经激活相关性逐步剪枝连接。该方法在LFW数据集上实现了99.55%的准确率，达到当前最先进水平，同时将模型参数量减少至原始参数的12%，优于使用相同训练数据的DeepID2+模型。

ABSTRACT

This paper proposes to learn high-performance deep ConvNets with sparse neural connections, referred to as sparse ConvNets, for face recognition. The sparse ConvNets are learned in an iterative way, each time one additional layer is sparsified and the entire model is re-trained given the initial weights learned in previous iterations. One important finding is that directly training the sparse ConvNet from scratch failed to find good solutions for face recognition, while using a previously learned denser model to properly initialize a sparser model is critical to continue learning effective features for face recognition. This paper also proposes a new neural correlation-based weight selection criterion and empirically verifies its effectiveness in selecting informative connections from previously learned models in each iteration. When taking a moderately sparse structure (26%-76% of weights in the dense model), the proposed sparse ConvNet model significantly improves the face recognition performance of the previous state-of-the-art DeepID2+ models given the same training data, while it keeps the performance of the baseline model with only 12% of the original parameters.

研究动机与目标

• 通过学习具有可控稀疏度的稀疏深度卷积网络，提升人脸识别性能。
• 探究神经激活相关性是否作为选择重要连接的指标，优于权重大小或二阶导数。
• 确定从预训练的稠密模型初始化稀疏模型，是否能实现比从零开始训练稀疏模型更优的特征学习。
• 在资源受限平台部署时，实现显著减小模型尺寸的同时保持高性能。
• 评估稀疏卷积网络在YouTube Faces等具有挑战性的数据集上的泛化能力和鲁棒性。

提出的方法

• 在约300,000张人脸图像上训练一个高性能的、稠密的VGG类卷积神经网络作为基线模型。
• 逐层迭代地进行稀疏化，从最后一层开始，使用前一模型的权重作为初始化，重新训练整个模型。
• 基于连接神经元激活模式之间的相关性，采用基于神经激活相关性的准则来选择保留的连接。
• 通过单一参数控制稀疏度，实现模型大小与性能之间的系统性权衡。
• 对在不同人脸区域和尺度上训练的25个模型的集合应用相同的稀疏化过程。
• 融合该集合的特征，最终在LFW和YouTube Faces数据集上实现当前最先进性能。

实验结果

研究问题

• RQ1 与稠密模型相比，基于相关性的迭代、逐层稀疏化是否能提升人脸识别准确率？
• RQ2 从预训练的稠密模型初始化稀疏模型是否对实现良好性能至关重要？从零开始训练稀疏模型是否会因陷入不良局部极小值而失败？
• RQ3 神经激活相关性是否作为连接选择的更好准则，优于权重大小或二阶导数？
• RQ4 在保持或提升性能的前提下，模型尺寸最多可压缩到何种程度？
• RQ5 所提出的稀疏卷积网络在YouTube Faces等分布外数据集上的泛化能力如何？

主要发现

• 所提出的稀疏卷积网络在LFW数据集上实现了99.55%的人脸验证准确率，优于使用相同训练数据的先前最先进模型DeepID2+（99.47%）。
• 模型仅保留原始参数的12%时，仍保持98.95%的准确率，证明了其强大的压缩效率。
• 在全连接层（1/256）中引入稀疏性，使平均准确率提升了0.18%；在局部连接层（1/128）中引入稀疏性，准确率提升了0.17%。
• 25个稀疏卷积网络组成的集成模型在YouTube Faces数据集上达到93.5%的准确率，优于DeepID2+集成模型的93.2%，在更具挑战性的数据集上表现更优。
• 在LFW数据集上，模型实现了0.962的闭集识别准确率和0.864的开集识别准确率，分别优于DeepID2+的0.950和0.807。
• 从零开始直接训练稀疏模型无法收敛到良好解，证实了使用稠密模型预训练进行有效初始化的必要性。