[论文解读] Optimizing Over Radial Kernels on Compact Manifolds

Sadeep Jayasumana, Richard Hartley+3 more|arXiv (Cornell University)|Dec 13, 2014

Morphological variations and asymmetry参考文献 13被引用 6

一句话总结

本文提出了一种系统性方法，用于在支持向量机框架内，对紧致黎曼流形（特别是n-球面、格拉斯曼流形和凯恩德的形状流形）上的所有正定径向核进行优化。通过以简洁的参数形式表达径向核，该方法可自动学习最优核参数，在物体、人脸、动作和形状识别任务中显著优于固定核（如高斯RBF）。

ABSTRACT

We tackle the problem of optimizing over all possible positive definite radial kernels on Riemannian manifolds for classification. Kernel methods on Riemannian manifolds have recently become increasingly popular in computer vision. However, the number of known positive definite kernels on manifolds remain very limited. Furthermore, most kernels typically depend on at least one parameter that needs to be tuned for the problem at hand. A poor choice of kernel, or of parameter value, may yield significant performance drop-off. Here, we show that positive definite radial kernels on the unit n-sphere, the Grassmann manifold and Kendall's shape manifold can be expressed in a simple form whose parameters can be automatically optimized within a support vector machine framework. We demonstrate the benefits of our kernel learning algorithm on object, face, action and shape recognition.

研究动机与目标

• 解决计算机视觉中黎曼流形数据缺乏多样化、系统性正定核选项的问题。
• 克服固定核（如高斯RBF）的局限性，后者需要手动调节带宽且性能可能不足。
• 开发一种统一框架，自动学习紧致流形上最优的径向核参数，而无需依赖预定义的基核。
• 实现系统性核选择，从而在非欧几里得数据的多种视觉任务中提升分类性能。
• 证明学习核形式本身（而不仅仅是固定参数）可带来优于使用固定、人工选择核的性能提升。

提出的方法

• 使用统一的参数形式表征n-球面、格拉斯曼流形和凯恩德形状流形上的正定径向核。
• 将核函数表达为流形上测地距离的函数，从而实现对核族的参数化。
• 将参数化核集成到支持向量机（SVM）框架中，实现端到端优化。
• 采用基于梯度或序列优化策略，联合优化核参数与SVM分类器。
• 利用紧致流形的结构，确保核在参数空间内始终保持正定性。
• 使用交叉验证和随机划分评估多个数据集上的泛化性能。

实验结果

研究问题

• RQ1 能否以一种可参数化的方式表征紧致黎曼流形上的径向核，从而实现在学习框架内的自动优化？
• RQ2 学习核形式（而不仅仅是固定参数如带宽）是否能带来优于使用固定核（如高斯RBF）的分类性能？
• RQ3 所提出的核学习方法与现有方法（如GDA、GGDA和MKL）在流形值数据上的表现相比如何？
• RQ4 该方法能否在涉及非欧几里得数据（如形状、人脸和动作）的多种计算机视觉任务中实现良好泛化？
• RQ5 是否存在一种系统性方法，可在不依赖启发式方法或预定义基核集合的情况下，学习最优径向核？

主要发现

• 在YT-Celebrity人脸识别数据集上，该方法达到72.00%的准确率，优于次佳方法（使用高斯核的MKL）的71.40%。
• 在Ballet动作识别数据集上，该方法达到78.05%的准确率，超过使用MKL与高斯核的先前最佳结果76.97%。
• 在Leeds Butterflies数据集上的蝴蝶物种识别任务中，该方法达到63.98%的准确率，显著超过最先进方法Procrustes高斯核的60.37%。
• 在Oxford-IIT Pet数据集上，仅使用形状信息进行猫与狗识别时，该方法达到80.87%的准确率，优于Procrustes高斯核的77.34%。
• 在所有评估的数据集和任务中，该方法始终优于所有基线核方法（包括GDA、GGDA、使用固定核的SVM以及MKL）。
• 结果表明，学习核形式本身可带来显著的性能提升，验证了在流形上进行系统性核优化的重要性。