[论文解读] Robust Near-Isometric Matching via Structured Learning of Graphical Models

Julian McAuley, Tibério S. Caetano+1 more|ArXiv.org|Sep 21, 2008

Advanced Image and Video Retrieval Techniques参考文献 22被引用 4

一句话总结

本文提出一种基于可 tractable 图模型的结构化学习方法，联合编码距离、角度和外观特征，以实现鲁棒的近等距形状匹配。通过使用大间隔结构化预测学习特征权重，该模型在保持高效推理的同时，显著提升了先前方法的准确性，即使在尺度和外观变化下也表现良好。

ABSTRACT

Models for near-rigid shape matching are typically based on distance-related features, in order to infer matches that are consistent with the isometric assumption. However, real shapes from image datasets, even when expected to be related by "almost isometric" transformations, are actually subject not only to noise but also, to some limited degree, to variations in appearance and scale. In this paper, we introduce a graphical model that parameterises appearance, distance, and angle features and we learn all of the involved parameters via structured prediction. The outcome is a model for near-rigid shape matching which is robust in the sense that it is able to capture the possibly limited but still important scale and appearance variations. Our experimental results reveal substantial improvements upon recent successful models, while maintaining similar running times.

研究动机与目标

• 解决传统基于等距性的形状匹配方法忽略外观和尺度变化的局限性。
• 提升在真实数据集中形状因噪声、尺度变化和外观差异而偏离完美等距性时的鲁棒性。
• 开发一种结构化学习框架，将多种特征类型（距离、角度、外观）整合到单一可 tractable 的图模型中。
• 在对应关系空间中实现高效且精确的推理，同时通过结构化预测学习不同特征类型的相对重要性。
• 通过两阶段学习方法克服异质特征空间中的特征缩放问题，以稳定模型训练。

提出的方法

• 将形状匹配建模为基于图模型的对应关系上的结构化预测问题，其中团（cliques）捕捉成对及高阶几何关系。
• 将三类特征整合到模型的势函数中：等距不变的距离特征、角度特征以及外观不变特征（例如 SIFT）。
• 采用两阶段结构化学习方法，先识别候选对应关系，再利用高阶特征进行精炼。
• 应用大间隔结构化预测，联合学习所有特征类型的权重，使模型能够自动优先选择相关特征。
• 通过利用团大小较小的弦图模型，确保计算效率，实现在多项式时间内精确的 MAP 推断。
• 通过学习前对特征进行归一化，并采用两阶段训练过程，缓解特征缩放敏感性问题。

实验结果

研究问题

• RQ1 能否通过统一的图模型整合几何、角度和外观特征，从而提升近等距形状匹配的鲁棒性？
• RQ2 与固定或启发式加权方案相比，特征权重的结构化学习在匹配准确性方面表现如何？
• RQ3 高阶特征（如三阶角度）在超越一阶和二阶特征的基础上，对性能的贡献程度如何？
• RQ4 在引入更丰富的特征表示并学习其相对重要性的同时，模型能否保持高效率？
• RQ5 在遮挡和特征尺度变化下，模型表现如何？学习机制能否缓解这些问题？

主要发现

• 所提模型在基准形状匹配数据集上显著优于近期最先进方法，且运行时间相近。
• 第二阶段学习过程为一阶特征分配接近零的权重，表明在候选匹配确定后，高阶特征能提供更具区分性的信息。
• 引入尺度不变的三阶特征显著提升了匹配准确性，捕捉了低阶特征无法编码的结构模式。
• 两阶段学习方法有效稳定了训练过程，即使在特征尺度异质的情况下也能实现可靠的权重学习。
• 由于图模型的弦结构，模型保持精确且高效，支持可 tractable 的 MAP 推断。
• 该方法优于仅使用距离或外观特征的基线模型，证明了联合建模多种不变性的优势。