[论文解读] The Matrix Hilbert Space and Its Application to Matrix Learning

Yunfei Ye|arXiv (Cornell University)|Jun 25, 2017

Tensor decomposition and applications参考文献 2被引用 5

一句话总结

本文提出了一种矩阵希尔伯特空间框架，将标量内积推广至矩阵形式，保留了数据中的结构信息和多向相关性。通过将再生核希尔伯特空间（RKHS）扩展为再生核矩阵希尔伯特空间（RKMHS），作者推导出一类新型矩阵核，显著提升了在MNIST和Yale Face等基准数据集上的分类性能，优于现有的RBF-SVM和基于因子的核方法。

ABSTRACT

Theoretical studies have proven that the Hilbert space has remarkable performance in many fields of applications. Frames in tensor product of Hilbert spaces were introduced to generalize the inner product to high-order tensors. However, these techniques require tensor decomposition which could lead to the loss of information and it is a NP-hard problem to determine the rank of tensors. Here, we present a new framework, namely matrix Hilbert space to perform a matrix inner product space when data observations are represented as matrices. We preserve the structure of initial data and multi-way correlation among them is captured in the process. In addition, we extend the reproducing kernel Hilbert space (RKHS) to reproducing kernel matrix Hilbert space (RKMHS) and propose an equivalent condition of the space uses of the certain kernel function. A new family of kernels is introduced in our framework to apply the classifier of Support Tensor Machine(STM) and comparative experiments are performed on a number of real-world datasets to support our contributions.

研究动机与目标

• 开发一种基于矩阵内积空间的新型数学框架，用于处理矩阵结构数据。
• 克服张量分解在保留结构信息和避免NP难的秩确定问题上的局限性。
• 将再生核希尔伯特空间（RKHS）推广至矩阵形式，支持基于核的学习方法在矩阵上的应用。
• 设计一类新型矩阵核，以捕捉多向相关性并提升分类性能。
• 通过实证验证所提出的框架在真实世界数据集上的表现，证明其优于现有基于矩阵与张量的学习方法。

提出的方法

• 利用Frobenius范数和矩阵Frobenius内积定义矩阵内积空间，以推广标量希尔伯特空间的概念。
• 将矩阵希尔伯特空间定义为完备的矩阵内积空间，保留输入矩阵的结构特性。
• 通过满足再生性质的核函数，将再生核希尔伯特空间（RKHS）的概念扩展为再生核矩阵希尔伯特空间（RKMHS）。
• 利用特定核函数推导出RKMHS的等价条件，从而实现新型矩阵核的构建。
• 提出一种基于交替投影的核技巧，高效计算矩阵核，避免显式张量分解。
• 在RKMHS框架内使用多项式核构造新型矩阵核，适用于支持张量机（STM）分类器。

实验结果

研究问题

• RQ1 能否系统地定义矩阵内积空间，以保留矩阵结构数据中的结构信息与多向相关性？
• RQ2 如何将再生核希尔伯特空间（RKHS）推广至矩阵值函数，以支持非线性学习？
• RQ3 何种条件可确保核函数诱导出有效的再生核矩阵希尔伯特空间（RKMHS）？
• RQ4 所提出的矩阵核框架在分类准确率与F1得分方面，相较于现有张量与矩阵学习方法表现如何？
• RQ5 所提出的新型矩阵核框架能否有效应用于二分类与多分类任务？

主要发现

• 在Yale Face数据集上，所提出的矩阵核达到89.3%的准确率与0.892的F1值，显著优于SVM-RBF（85.6%准确率）、因子核（76.0%准确率）和MRMLKSVM（84.0%准确率）。
• 在FingerDB数据集上，新矩阵核实现75.0%的准确率与0.741的F1值，优于SVM-RBF（73.0%准确率）、因子核（64.0%准确率）和MRMLKSVM（72.5%准确率）。
• 该新矩阵核在二分类与多分类任务中均持续优于所有基线方法，展现出鲁棒性与有效性。
• 性能提升归因于对矩阵结构与多向相关性的保留，而基于分解的方法则会损失结构信息。
• 实验表明，训练集规模越大，性能越好；尽管矩阵运算带来较高计算成本，所提核方法仍具竞争力。
• 该框架可直接应用于回归、聚类与排序任务，而不仅限于分类，显示出广泛的扩展潜力。