[论文解读] Optimizing Kernel Machines using Deep Learning

Huan Song, Jayaraman J. Thiagarajan+2 more|arXiv (Cornell University)|Nov 15, 2017

Domain Adaptation and Few-Shot Learning参考文献 41被引用 3

一句话总结

本文提出DKMO（深度核机器优化）框架，通过使用深度学习从Nyström近似生成的集成嵌入中学习任务特定表示，以优化核机器。该框架支持带有核正则化dropout的端到端训练，在多种核学习任务中实现最先进性能，优于传统SVM和MKL方法，尤其在小样本数据集上表现突出。

ABSTRACT

Building highly non-linear and non-parametric models is central to several state-of-the-art machine learning systems. Kernel methods form an important class of techniques that induce a reproducing kernel Hilbert space (RKHS) for inferring non-linear models through the construction of similarity functions from data. These methods are particularly preferred in cases where the training data sizes are limited and when prior knowledge of the data similarities is available. Despite their usefulness, they are limited by the computational complexity and their inability to support end-to-end learning with a task-specific objective. On the other hand, deep neural networks have become the de facto solution for end-to-end inference in several learning paradigms. In this article, we explore the idea of using deep architectures to perform kernel machine optimization, for both computational efficiency and end-to-end inferencing. To this end, we develop the DKMO (Deep Kernel Machine Optimization) framework, that creates an ensemble of dense embeddings using Nystrom kernel approximations and utilizes deep learning to generate task-specific representations through the fusion of the embeddings. Intuitively, the filters of the network are trained to fuse information from an ensemble of linear subspaces in the RKHS. Furthermore, we introduce the kernel dropout regularization to enable improved training convergence. Finally, we extend this framework to the multiple kernel case, by coupling a global fusion layer with pre-trained deep kernel machines for each of the constituent kernels. Using case studies with limited training data, and lack of explicit feature sources, we demonstrate the effectiveness of our framework over conventional model inferencing techniques.

研究动机与目标

• 通过整合深度学习进行表示学习，以解决核方法的局限性，包括高计算成本和缺乏端到端学习能力。
• 通过深度神经网络从RKHS中多个核诱导的子空间中实现任务特定的表示学习。
• 通过引入核正则化dropout，提升低数据场景下的模型泛化能力和收敛性。
• 通过将全局融合层与预训练的深度核机器结合，将框架扩展至多核学习。
• 在真实世界的小样本训练数据集上，证明该框架优于传统核方法和最先进MKL技术。

提出的方法

• 使用Nyström方法对核Gram矩阵进行低秩近似，从多个核矩阵构建密集嵌入。
• 利用深度神经网络通过融合RKHS中不同线性子空间的集成密集嵌入，学习任务特定的表示。
• 引入核正则化dropout，通过在训练过程中随机屏蔽核子空间，提升泛化能力并模拟核融合。
• 通过将全局融合层与每个基础核的预训练深度核机器结合，将框架应用于多核学习。
• 使用RBF、χ²和基于相关性的核生成多样化特征表示，通过特征值阈值化对相关性核进行校正，以确保正定性。
• 使用反向传播进行端到端训练，实现核表示和模型参数的联合优化。

实验结果

研究问题

• RQ1 能否利用深度学习优化核机器，以提升泛化能力和计算效率？
• RQ2 如何通过从多个核子空间中进行深度表示学习，实现在核方法中的端到端学习？
• RQ3 核正则化dropout是否能提升核机器优化中的收敛性和性能？
• RQ4 所提出的框架能否在小样本任务中超越传统核方法和最先进多核学习技术？
• RQ5 通过深度神经网络融合多个核表示，在提升类别分离能力和分类准确率方面效果如何？

主要发现

• M-DKMO框架在USC-HAD数据集上达到90.4%的准确率，显著优于均匀核融合基线（89.0%）和最先进方法UFO-MKL（87.1%）。
• 在统计特征上，DKMO相比核SVM提升4.5%；在形状特征上提升3.5%；在相关性特征上提升4.6%，表明在所有特征类型上均实现一致增益。
• FCN模型在形状和相关性特征上表现较差，拉低了其整体融合性能，而M-DKMO在所有特征源上均保持强大且一致的性能提升。
• t-SNE可视化显示，M-DKMO在Sitting、Standing、Elevator Up和Elevator Down等具有挑战性的类别上实现了优于单个核的类别分离效果。
• 核正则化dropout提升了训练收敛性，并有效融合了互补子空间，实现在可微分、基于反向传播框架内的MKL行为模拟。
• 该框架在训练数据有限且无显式特征来源的数据集上表现出稳健性能，凸显其在低数据场景下的实用性。