[论文解读] Scalable Block-Diagonal Locality-Constrained Projective Dictionary Learning

Zhao Zhang, Weiming Jiang+4 more|arXiv (Cornell University)|May 25, 2019

Sparse and Compressive Sensing Techniques参考文献 20被引用 4

一句话总结

本文提出了一种可扩展的块对角结构局部约束投影字典学习方法（LC-PDL），该方法通过使用块对角表示和局部性约束，避免了昂贵的l0/l1-范数正则化和稀疏编码，从而在保持高分类准确率的同时实现了高效的训练与测试。该方法通过判别性投影和块对角特征近似实现了性能提升，并在IJCAI 2019的基准数据集上得到验证。

ABSTRACT

We propose a novel structured discriminative block-diagonal dictionary learning method, referred to as scalable Locality-Constrained Projective Dictionary Learning (LC-PDL), for efficient representation and classification. To improve the scalability by saving both training and testing time, our LC-PDL aims at learning a structured discriminative dictionary and a block-diagonal representation without using costly l0/l1-norm. Besides, it avoids extra time-consuming sparse reconstruction process with the well-trained dictionary for new sample as many existing models. More importantly, LC-PDL avoids using the complementary data matrix to learn the sub-dictionary over each class. To enhance the performance, we incorporate a locality constraint of atoms into the DL procedures to keep local information and obtain the codes of samples over each class separately. A block-diagonal discriminative approximation term is also derived to learn a discriminative projection to bridge data with their codes by extracting the special block-diagonal features from data, which can ensure the approximate coefficients to associate with its label information clearly. Then, a robust multiclass classifier is trained over extracted block-diagonal codes for accurate label predictions. Experimental results verify the effectiveness of our algorithm.

研究动机与目标

• 开发一种可扩展的字典学习方法，相比现有的基于稀疏编码的方法，显著减少训练和测试时间。
• 消除子字典学习中对昂贵的l0/l1-范数正则化和互补数据矩阵的需求。
• 通过原子级别的局部性约束保留局部数据结构，从而提升分类性能。
• 通过块对角码实现直接标签预测，无需额外的稀疏重建步骤。
• 集成一种判别性投影，通过块对角近似增强类特定特征表示。

提出的方法

• 提出一种块对角结构化的字典学习框架，通过块对角系数矩阵强制实现类特定表示。
• 将局部性约束引入字典学习过程，以保留局部数据流形结构并提升编码质量。
• 引入一种块对角判别性近似项，将数据投影到一个系数与类别标签清晰关联的空间中。
• 使用直接在提取的块对角码上训练的鲁棒多分类器实现准确的标签预测。
• 在推理阶段避免稀疏编码，通过学习紧凑且结构化的表示实现快速分类。
• 采用非凸优化框架，联合学习字典、系数和投影矩阵，以实现端到端性能优化。

实验结果

研究问题

• RQ1 块对角字典学习方法是否能在显著减少训练和测试时间的同时，实现与传统稀疏编码方法相比更高的分类准确率？
• RQ2 在字典学习过程中引入局部性约束，如何改善表示质量和分类性能？
• RQ3 在不牺牲判别能力的前提下，消除l0/l1-范数正则化和互补数据矩阵在多大程度上提升了可扩展性？
• RQ4 一种能够提取块对角特征的判别性投影，是否能改善系数与真实类别标签之间的对齐？
• RQ5 在标准基准数据集上，所提出的LC-PDL方法与当前最先进的字典学习模型相比，在准确率和效率方面表现如何？

主要发现

• 所提出的LC-PDL方法在多个基准数据集（包括Extended Yale B和AR）上实现了最先进的分类准确率，显著优于基线方法。
• LC-PDL通过避免稀疏编码和l0/l1正则化，显著减少了训练和测试时间，使其在大规模应用中具有高度可扩展性。
• 局部性约束的集成带来了更具判别性和紧凑的表示，增强了模型在不同类别间泛化的能力。
• 块对角结构使得系数模式与类别标签之间具有明确关联，提升了预测结果的可解释性和可靠性。
• 该方法在准确率和效率方面均优于现有的投影字典学习方法，尤其在训练样本有限的场景下表现更优。
• 实证结果证实，判别性投影组件通过从数据中提取类特定特征，显著提升了模型性能。