[论文解读] Multiple Riemannian Manifold-valued Descriptors based Image Set Classification with Multi-Kernel Metric Learning

Rui Wang, Xiao‐Jun Wu+1 more|View|Aug 6, 2019

Face and Expression Recognition被引用 4

一句话总结

本文提出了一种多几何图像集分类方法，通过在黎曼流形上联合建模协方差矩阵、线性子空间和高斯分布，实现对图像集的联合表示。通过利用黎曼核将这些异构特征映射到希尔伯特空间，并采用多核度量学习框架将它们嵌入到低维判别子空间，该方法在四个基于视频的分类任务中取得了最先进性能，验证了多流形描述子的互补价值。

ABSTRACT

The importance of wild video based image set recognition is becoming monotonically increasing. However, the contents of these collected videos are often complicated, and how to efficiently perform set modeling and feature extraction is a big challenge for set-based classification algorithms. In recent years, some proposed image set classification methods have made a considerable advance by modeling the original image set with covariance matrix, linear subspace, or Gaussian distribution. As a matter of fact, most of them just adopt a single geometric model to describe each given image set, which may lose some other useful information for classification. To tackle this problem, we propose a novel algorithm to model each image set from a multi-geometric perspective. Specifically, the covariance matrix, linear subspace, and Gaussian distribution are applied for set representation simultaneously. In order to fuse these multiple heterogeneous Riemannian manifoldvalued features, the well-equipped Riemannian kernel functions are first utilized to map them into high dimensional Hilbert spaces. Then, a multi-kernel metric learning framework is devised to embed the learned hybrid kernels into a lower dimensional common subspace for classification. We conduct experiments on four widely used datasets corresponding to four different classification tasks: video-based face recognition, set-based object categorization, video-based emotion recognition, and dynamic scene classification, to evaluate the classification performance of the proposed algorithm. Extensive experimental results justify its superiority over the state-of-the-art.

研究动机与目标

• 为解决单一几何建模在图像集分类中的局限性，该方法可避免忽略来自不同流形结构的互补信息。
• 通过融合源自协方差矩阵、子空间和高斯分布的多个黎曼流形值特征，提升基于视频识别的鲁棒性与判别能力。
• 构建统一框架，通过核映射与度量学习有效结合异构黎曼特征，从而提升分类性能。
• 在多样化的基于视频的分类基准上，验证多几何表示相较于单几何方法的优越性。

提出的方法

• 使用三种不同的黎曼流形值描述子对每个图像集进行建模：对称正定（SPD）矩阵（协方差）、格拉斯曼流形子空间（线性子空间）以及高斯分布（高斯嵌入流形）。
• 应用成熟的黎曼核函数，将异构的流形值特征映射到高维希尔伯特空间，同时保持其内在几何结构。
• 设计多核度量学习框架，通过组合多个黎曼核，学习一个共享的低维欧氏子空间，从而实现有效分类。
• 采用迭代优化策略，联合学习变换矩阵、核权重与正则化参数，其收敛性在 AFEW 和 YTC 数据集上通过实验验证。
• 采用迹比优化进行子空间学习，使用梯度上升法更新核权重，确保目标函数的稳定收敛。
• 通过消融实验配置最终特征维数 $d_w$，识别出最优值（如 MDSD 上为 25，YTC 上为 70），以在判别能力与冗余性之间取得平衡。

实验结果

研究问题

• RQ1 将多种黎曼流形值描述子（SPD、Grassmann、Gaussian）联合使用，是否能显著提升图像集分类性能，相比仅使用单一几何结构？
• RQ2 黎曼核能否有效将异构流形特征映射到统一的希尔伯特空间，以支持后续的度量学习？
• RQ3 在共享子空间中采用多核度量学习，是否能实现比单核或欧氏基方法更好的泛化能力与判别性能？
• RQ4 嵌入子空间的最优维度 $d_w$ 是多少，才能在特征丰富性与冗余性之间实现最佳平衡？
• RQ5 所提出方法在多样化的基于视频的分类任务中，相较于最先进方法表现如何？

主要发现

• 所提方法在四个基准数据集上均达到最先进性能：AFEW（基于视频的人脸识别）、YTC（基于集合的物体分类）、MDSD（基于视频的情绪识别）和 ETH-80（动态场景分类）。
• 融合多种黎曼描述子（SPD、Grassmann、Gaussian）显著提升了分类准确率，优于任一单一描述子，证实了其互补性。
• 在 MDSD 数据集上，最优 $d_w = 25$ 时达到最高识别率，而更高维度（如 91）导致性能下降至 5.13%，表明高维下存在冗余。
• 在 YTC 数据集上，$d_w = 70$ 时性能最佳，当增至 141 时性能下降至 72.22%，进一步验证了维度与判别质量之间的权衡关系。
• 目标函数在多次迭代后稳定收敛，40 次迭代后 AFEW 的值稳定在 0.8398，YTC 稳定在 0.9207，表明优化过程具有鲁棒性。
• 实验结果证实，多核度量学习框架能有效整合异构黎曼特征，显著优于传统的欧氏方法与单几何方法。