[论文解读] TrIK-SVM : an alternative decomposition for kernel methods in Krein spaces

Gaëlle Loosli|arXiv (Cornell University)|Feb 27, 2019

Neural Networks and Applications参考文献 9被引用 4

一句话总结

TrIK-SVM 提出了一种针对克雷因空间中核方法的新型核分解方法，避免了特征分解，从而在不预先计算完整核矩阵的情况下实现了稀疏解。其性能与 KSVM 相当，同时消除了数值不稳定性并保持了计算效率。

ABSTRACT

The proposed work aims at proposing a alternative kernel decomposition in the context of kernel machines with indefinite kernels. The original paper of KSVM (SVM in Kreǐn spaces) uses the eigen-decomposition, our proposition avoids this decompostion. We explain how it can help in designing an algorithm that won't require to compute the full kernel matrix. Finally we illustrate the good behavior of the proposed method compared to KSVM.

研究动机与目标

• 解决 KSVM 的实际局限性，包括高计算成本以及因特征分解导致的稀疏性丧失。
• 开发一种避免完整核矩阵计算并保持解稀疏性的核分解方法。
• 确保在各种超参数（尤其是 λ）下具有数值稳定性与鲁棒性。
• 通过按需计算核项或使用缓存策略，实现高效的算法实现。
• 在具有不同重叠度与可分性的合成数据集上，证明 TrIK-SVM 与 KSVM 具有相当的性能。

提出的方法

• 提出一种基于迹的不定核（TrIK, Trace-based Indefinite Kernel）分解，用基于迹的公式替代特征分解，避免了完整谱分解的计算需求。
• 通过将核分解为正部与负部（K = K₊ + K₋），在希尔伯特空间（H）中重述优化问题，其中 K₊ 和 K₋ 均为正定核。
• 在再生核希尔伯特空间（RKHS, H）中使用修改后的对偶优化问题，引入修改后的核矩阵 G = G₊ + G₋，其中 G₊ 和 G₋ 分别由 K₊ 和 K₋ 导出。
• 通过投影机制恢复原始 RKKS（K）中的解：α_sv = P_sv,sv * α̃_sv，以确保稀疏性与稳定性。
• 采用三步算法：(1) 使用修改后的核矩阵在 RKHS 中求解；(2) 检查对偶可行性并投影至可行集；(3) 在支持向量上验证原始最优性。
• 通过按需计算核项或使用缓存策略，避免存储完整核矩阵，从而提升内存效率。

实验结果

研究问题

• RQ1 能否设计一种核分解方法，在避免特征分解的同时，保持不定核学习中解的质量？
• RQ2 与 KSVM 相比，所提出方法是否在不同 λ 值下仍能保持稀疏性与数值稳定性？
• RQ3 TrIK-SVM 是否能在不预先计算完整核矩阵的前提下，实现与 KSVM 相当的准确率？
• RQ4 λ 的选择如何影响 TrIK-SVM 中的解质量与计算效率？
• RQ5 该算法是否能通过缓存策略实现高效实现，从而减少内存开销？

主要发现

• 只要 λ 小于最小特征值，TrIK-SVM 在不同 λ 值下产生的 RKKS 解几乎完全一致，表现出良好的鲁棒性。
• 在 30 个随机生成的、规模从 100 到 3000 个样本逐渐增加的数据集中，TrIK-SVM 的训练准确率与 KSVM 相当，证实了其性能竞争力。
• 尽管 TrIK-SVM 用 Python 实现且未做优化，其在对数-对数尺度上的训练时间与使用高度优化的 libsvm 的 KSVM 相当。
• 由于算法仅计算支持向量分量，避免了完整核矩阵的存储，因此解始终保持稀疏。
• 由于避免了特征分解，TrIK-SVM 显著降低了 KSVM 中常见的数值不稳定性，尤其是在点之间相似度较高的数据集中。
• 只要 λ 足够负，其值不会影响解的质量或训练时间，使得该方法在实际应用中可视为无参数方法。