[论文解读] Robust Subspace Discovery by Block-diagonal Adaptive Locality-constrained Representation

Zhao Zhang, Jiahuan Ren+4 more|arXiv (Cornell University)|Aug 4, 2019

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

该论文提出rBDLR，一种新颖的无监督表示学习模型，通过基于Frobenius范数的低秩表示与块对角正则化，联合恢复多子空间结构并提取自适应保持局部性的显著特征。通过在清理后的数据空间中执行潜在表示和自适应加权，并利用重建误差最小化与块对角正则化强制编码系数呈现块对角结构，rBDLR在对抗异常值方面表现出鲁棒性，同时保持了局部特征结构，在子空间发现任务中优于当前最先进方法。

ABSTRACT

We propose a novel and unsupervised representation learning model, i.e., Robust Block-Diagonal Adaptive Locality-constrained Latent Representation (rBDLR). rBDLR is able to recover multi-subspace structures and extract the adaptive locality-preserving salient features jointly. Leveraging on the Frobenius-norm based latent low-rank representation model, rBDLR jointly learns the coding coefficients and salient features, and improves the results by enhancing the robustness to outliers and errors in given data, preserving local information of salient features adaptively and ensuring the block-diagonal structures of the coefficients. To improve the robustness, we perform the latent representation and adaptive weighting in a recovered clean data space. To force the coefficients to be block-diagonal, we perform auto-weighting by minimizing the reconstruction error based on salient features, constrained using a block-diagonal regularizer. This ensures that a strict block-diagonal weight matrix can be obtained and salient features will possess the adaptive locality preserving ability. By minimizing the difference between the coefficient and weights matrices, we can obtain a block-diagonal coefficients matrix and it can also propagate and exchange useful information between salient features and coefficients. Extensive results demonstrate the superiority of rBDLR over other state-of-the-art methods.

研究动机与目标

• 解决在无监督表示学习中存在噪声和异常值时，鲁棒多子空间结构发现的挑战。
• 在保持局部结构自适应的同时，联合学习编码系数与显著特征。
• 通过强制编码系数中的块对角结构，确保来自同一子空间的数据点被分组在一起。
• 通过在恢复的干净数据空间中操作并使用自适应加权来增强特征表示，从而提高鲁棒性。
• 通过系数-权重矩阵对齐，实现在显著特征与系数之间的信息传播。

提出的方法

• 构建基于Frobenius范数的潜在低秩表示模型，以联合学习编码系数与显著特征。
• 在恢复的干净数据空间中执行潜在表示与自适应加权，以增强对数据错误与异常值的鲁棒性。
• 应用块对角正则化器，强制编码系数矩阵呈现严格的块对角结构，促进子空间聚类。
• 基于显著特征最小化重建误差，以实现自动加权并确保自适应局部性保持。
• 通过最小化系数矩阵与权重矩阵之间的差异，强制二者对齐，实现特征与系数之间的信息交换。
• 使用优化技术求解带约束的联合学习问题，确保块对角结构与鲁棒性。

实验结果

研究问题

• RQ1 如何在无监督条件下，同时恢复多子空间结构并提取显著特征，同时保持局部数据结构？
• RQ2 在恢复的干净数据空间中进行表示学习，对鲁棒性对抗异常值与噪声有何影响？
• RQ3 在编码系数上强制实施块对角结构是否能提升子空间聚类性能与特征自适应性？
• RQ4 基于显著特征的自适应加权如何增强表示学习过程中的局部性保持？
• RQ5 系数矩阵与权重矩阵之间的对齐在多大程度上提升了特征与系数的协同优化？

主要发现

• rBDLR在多子空间发现任务中表现优于当前最先进方法，大量实验结果验证了其优越性能。
• 块对角正则化有效通过确保编码系数将同一子空间的数据点分组在一起，实现了子空间聚类。
• 在恢复的干净数据空间中操作显著提升了对异常值与数据损坏的鲁棒性。
• 基于显著特征的自适应保持局部性的加权显著提升了表示质量并保持了局部结构。
• 系数矩阵与权重矩阵之间的对齐实现了有效的信息传播，同时改善了特征学习与系数学习。
• 该方法在多种数据集上展现出强大的泛化能力与稳定性，证实了其在真实场景中的有效性。