[论文解读] Multilayer Collaborative Low-Rank Coding Network for Robust Deep Subspace Discovery

Xianzhen Li, Zhao Zhang+4 more|arXiv (Cornell University)|Dec 13, 2019

Sparse and Compressive Sensing Techniques参考文献 45被引用 7

一句话总结

本文提出DeepLRR，一种多层协作低秩编码网络，通过跨层双线性低秩表示迭代重构数据，学习深层层次化特征与子空间。该方法通过动态增长稀疏误差恢复并整合邻域重构，增强了对噪声的鲁棒性，并提升了子空间发现能力，在公开基准测试中优于现有模型。

ABSTRACT

For subspace recovery, most existing low-rank representation (LRR) models performs in the original space in single-layer mode. As such, the deep hierarchical information cannot be learned, which may result in inaccurate recoveries for complex real data. In this paper, we explore the deep multi-subspace recovery problem by designing a multilayer architecture for latent LRR. Technically, we propose a new Multilayer Collabora-tive Low-Rank Representation Network model termed DeepLRR to discover deep features and deep subspaces. In each layer (>2), DeepLRR bilinearly reconstructs the data matrix by the collabo-rative representation with low-rank coefficients and projection matrices in the previous layer. The bilinear low-rank reconstruc-tion of previous layer is directly fed into the next layer as the input and low-rank dictionary for representation learning, and is further decomposed into a deep principal feature part, a deep salient feature part and a deep sparse error. As such, the coher-ence issue can be also resolved due to the low-rank dictionary, and the robustness against noise can also be enhanced in the feature subspace. To recover the sparse errors in layers accurately, a dynamic growing strategy is used, as the noise level will be-come smaller for the increase of layers. Besides, a neighborhood reconstruction error is also included to encode the locality of deep salient features by deep coefficients adaptively in each layer. Extensive results on public databases show that our DeepLRR outperforms other related models for subspace discovery and clustering.

研究动机与目标

• 为解决单层低秩表示（LRR）模型在捕捉复杂数据深层层次化特征方面的局限性。
• 克服因对深层结构信息建模不足而导致的真实世界数据中子空间恢复不准确的问题。
• 构建一种深度架构，联合学习多层中的低秩表示、显著特征与稀疏误差。
• 通过随层数增加而动态调整稀疏误差恢复策略，提升对噪声的鲁棒性。
• 通过每层自适应的邻域重构，保留深层特征的局部结构。

提出的方法

• DeepLRR采用多层架构，每层利用前一层的低秩系数与投影矩阵执行双线性重构。
• 模型将双线性重构分解为三个部分：深层主成分特征、深层显著特征与深层稀疏误差。
• 采用动态增长策略进行稀疏误差恢复，随着深度增加，噪声水平降低，恢复精度得以提升。
• 在每层中集成邻域重构误差，以自适应地编码深层显著特征的局部结构。
• 每层的低秩字典降低相干性，提升表示稳定性。
• 整个网络端到端训练，联合优化低秩、稀疏与局部重构项。

实验结果

研究问题

• RQ1 多层架构是否能通过捕捉超越单层LRR模型的层次化特征表示，提升深层子空间发现能力？
• RQ2 低秩编码如何在多层中扩展，以增强真实世界数据中对噪声的鲁棒性？
• RQ3 跨层动态稀疏误差恢复在多大程度上提升了重构精度与子空间聚类性能？
• RQ4 整合邻域重构误差在多大程度上增强了深度表示学习中局部特征的保留？
• RQ5 所提出的多层协作低秩编码框架是否能超越现有最先进子空间聚类模型？

主要发现

• DeepLRR在多个公开数据集上实现了子空间聚类的最先进性能，优于现有的基于LRR与深度子空间学习的模型。
• 动态稀疏误差恢复策略显著提升了抗噪能力，尤其在噪声水平降低的深层中表现更优。
• 引入邻域重构误差有助于更好地保留局部数据结构，从而提升聚类准确率。
• 多层设计通过利用层次化特征抽象，实现了对复杂高维数据更精确的恢复。
• 该模型在真实世界数据上展现出强大的泛化能力，在Extended YaleB、CMU-PIE与MNIST等基准数据集上均保持一致的性能提升。