[论文解读] Sparse, Collaborative, or Nonnegative Representation: Which Helps Pattern Classification?

Jun Xu, Wangpeng An+2 more|arXiv (Cornell University)|Jun 12, 2018

Face and Expression Recognition参考文献 82被引用 5

一句话总结

本文提出了一种基于非负表示的分类器（NRC），通过强制编码系数为非负值，增强同质样本的表示能力，同时抑制异质样本的影响，从而获得更稀疏且更具判别性的表示。NRC在多个视觉分类基准上使用深度特征时，性能优于SRC和CRC，达到当前最优水平。

ABSTRACT

The use of sparse representation (SR) and collaborative representation (CR) for pattern classification has been widely studied in tasks such as face recognition and object categorization. Despite the success of SR/CR based classifiers, it is still arguable whether it is the $\ell_{1}$-norm sparsity or the $\ell_{2}$-norm collaborative property that brings the success of SR/CR based classification. In this paper, we investigate the use of nonnegative representation (NR) for pattern classification, which is largely ignored by previous work. Our analyses reveal that NR can boost the representation power of homogeneous samples while limiting the representation power of heterogeneous samples, making the representation sparse and discriminative simultaneously and thus providing a more effective solution to representation based classification than SR/CR. Our experiments demonstrate that the proposed NR based classifier (NRC) outperforms previous representation based classifiers. With deep features as inputs, it also achieves state-of-the-art performance on various visual classification tasks.

研究动机与目标

• 探究非负表示（NR）是否能为模式分类提供比稀疏表示（SR）和协同表示（CR）更有效的替代方案。
• 解决SR/CR中负编码系数的局限性，此类系数与直观的数据组合方式相悖，并降低判别能力。
• 开发一种简单而有效的分类器，利用非负约束自然促进表示的稀疏性与判别性。
• 在多样化的视觉数据集上验证基于NR的分类方法相对于现有SR/CR方法的优越性。

提出的方法

• 构建一个非负约束的最小二乘模型，仅使用训练样本的非负系数对查询样本进行编码。
• 采用变量分裂与交替方向乘子法（ADMM）高效求解非负表示优化问题。
• 利用非负编码向量的最小重构误差，将查询样本分配至对应类别。
• 将深度卷积神经网络特征（如VGG、AlexNet）作为输入表示，评估其在大规模视觉任务中的性能。
• 对非负约束的应用，以限制异质样本的表示能力，同时增强同质样本的表示能力。
• 确保编码向量为非负，从而通过避免破坏性抵消，自然促进稀疏与判别性表示。

实验结果

研究问题

• RQ1 与稀疏表示和协同表示相比，强制非负编码系数是否能提升模式分类性能？
• RQ2 非负表示是否能在不显式使用ℓ1正则化的情况下，自然实现稀疏性与判别性？
• RQ3 在多样化视觉数据集上，所提出的NRC分类器与SRC和CRC相比，在准确率和鲁棒性方面表现如何？
• RQ4 当使用预训练CNN的深度特征时，NRC能否实现当前最优性能？

主要发现

• 在PASCAL VOC 2010数据集上，NRC相比基线方法提升4.7%，优于SRC和CRC。
• 在Stanford 40数据集上，NRC达到81.9%的准确率，超过VGG19（77.2%）及其他SOTA方法。
• 在Caltech-256数据集上，NRC达到84.4%的准确率，优于SJFT（83.8%）及其他领先的基于CNN的方法。
• 在CUB200-2011数据集上，NRC达到79.1%的准确率，略低于NAC（81.0%），但优于所有其他对比方法。
• 在Flower 102数据集上，NRC与NAC持平（95.3%），且优于所有其他方法至少2.2%。
• 在Aircraft和Cars数据集上，NRC分别达到87.5%和90.8%的准确率，优于B-CNN 3.4%和0.2%。