[论文解读] Multilinear Compressive Learning with Prior Knowledge

Dat Thanh Tran, Moncef Gabbouj+1 more|arXiv (Cornell University)|Feb 17, 2020

Sparse and Compressive Sensing Techniques参考文献 49被引用 4

一句话总结

本文提出了一种用于多线性压缩学习（MCL）的知识迁移框架，通过监督训练非线性压缩模型来发现判别性张量子空间，并将此知识迁移至优化感知与特征合成。该方法实现了端到端学习，性能显著提升，尤其在半监督设置下，未标记数据增强了模型泛化能力与准确性。

ABSTRACT

The recently proposed Multilinear Compressive Learning (MCL) framework combines Multilinear Compressive Sensing and Machine Learning into an end-to-end system that takes into account the multidimensional structure of the signals when designing the sensing and feature synthesis components. The key idea behind MCL is the assumption of the existence of a tensor subspace which can capture the essential features from the signal for the downstream learning task. Thus, the ability to find such a discriminative tensor subspace and optimize the system to project the signals onto that data manifold plays an important role in Multilinear Compressive Learning. In this paper, we propose a novel solution to address both of the aforementioned requirements, i.e., How to find those tensor subspaces in which the signals of interest are highly separable? and How to optimize the sensing and feature synthesis components to transform the original signals to the data manifold found in the first question? In our proposal, the discovery of a high-quality data manifold is conducted by training a nonlinear compressive learning system on the inference task. Its knowledge of the data manifold of interest is then progressively transferred to the MCL components via multi-stage supervised training with the supervisory information encoding how the compressed measurements, the synthesized features, and the predictions should be like. The proposed knowledge transfer algorithm also comes with a semi-supervised adaption that enables compressive learning models to utilize unlabeled data effectively. Extensive experiments demonstrate that the proposed knowledge transfer method can effectively train MCL models to compressively sense and synthesize better features for the learning tasks with improved performances, especially when the complexity of the learning task increases.

研究动机与目标

• 解决在多线性压缩感知中识别能捕捉下游学习任务关键特征的判别性张量子空间的挑战。
• 优化MCL中的感知与特征合成组件，将信号投影到所发现的数据流形上。
• 通过半监督知识迁移过程的适应，有效利用未标记数据。
• 通过端到端可训练框架，将教师模型的先验知识迁移至学生模型，以提升MCL性能。
• 在传统方法因标注数据有限而表现困难的复杂学习任务中，验证该方法的有效性。

提出的方法

• 在推理任务上训练非线性压缩学习模型（教师模型），以隐式发现高质量的数据流形。
• 通过多阶段监督训练，利用压缩测量、特征和预测的监督信号，将教师模型的知识迁移至MCL系统。
• 引入半监督适应机制，通过自标注程序引入未标记数据，以增强先验知识生成。
• 使用先验生成模型（P）及其半监督变体（P-S），为MCL学生模型提供结构化归纳偏置。
• 端到端优化整个系统，联合学习感知矩阵与特征合成组件，受迁移知识的引导。
• 利用张量数据的层次结构，在压缩与学习过程中保留多维信号结构。

实验结果

研究问题

• RQ1 如何有效发现多线性压缩学习中能捕捉学习任务关键特征的判别性张量子空间？
• RQ2 如何系统性地将训练好的压缩模型的先验知识迁移至MCL中的感知与特征合成优化？
• RQ3 在半监督设置下，引入未标记数据在多大程度上能提升MCL模型的性能？
• RQ4 与标准训练相比，教师模型的知识迁移是否能显著增强MCL系统的泛化能力与准确性？
• RQ5 当学习任务复杂度增加且标注数据有限时，该方法的可扩展性如何？

主要发现

• 所提出的MCLwP-S模型（采用半监督知识迁移）在所有基准测试中均取得最高性能，优于MCL与MCLwP。
• 在CIFAR-10S数据集（14×11×2测量）上，MCLwP-S达到78.03%准确率，显著优于MCL（75.31%）与MCLwP（75.86%）。
• 在CelebA-500S半监督设置中，MCLwP-S达到58.34%准确率，远超MCL（41.47%）与MCLwP（42.07%）。
• 使用未标记数据训练的先验生成模型P-S在CIFAR-10S上达到79.70%准确率，相比P（76.99%）显示出更优的知识提取能力。
• MCLwP与MCL之间的性能差距凸显了先验知识迁移的重要性：当标注数据稀缺时，MCLwP在一半设置中表现劣于MCL。
• 半监督适应同时提升了先验模型与学生模型，证明未标记数据能有效提升MCL中迁移知识的质量。