[论文解读] Shape Recognition by Bag of Skeleton-associated Contour Parts

Wei Shen, Yuan Jiang+3 more|arXiv (Cornell University)|May 20, 2016

Image Retrieval and Classification Techniques参考文献 35被引用 4

一句话总结

本文提出了一种新型形状描述符——骨架关联形状上下文（SSC），通过将骨架厚度与轮廓片段关联，融合了轮廓和骨架信息。通过在形状上下文中增加一个厚度差异维度，SSC捕捉了互补的几何特征；当与词袋特征框架及线性SVM结合时，其在标准形状基准测试中实现了最先进性能，尤其在5个厚度区间和5个参考点的最优配置下表现突出。

ABSTRACT

Contour and skeleton are two complementary representations for shape recognition. However combining them in a principal way is nontrivial, as they are generally abstracted by different structures (closed string vs graph), respectively. This paper aims at addressing the shape recognition problem by combining contour and skeleton according to the correspondence between them. The correspondence provides a straightforward way to associate skeletal information with a shape contour. More specifically, we propose a new shape descriptor. named Skeleton-associated Shape Context (SSC), which captures the features of a contour fragment associated with skeletal information. Benefited from the association, the proposed shape descriptor provides the complementary geometric information from both contour and skeleton parts, including the spatial distribution and the thickness change along the shape part. To form a meaningful shape feature vector for an overall shape, the Bag of Features framework is applied to the SSC descriptors extracted from it. Finally, the shape feature vector is fed into a linear SVM classifier to recognize the shape. The encouraging experimental results demonstrate that the proposed way to combine contour and skeleton is effective for shape recognition, which achieves the state-of-the-art performances on several standard shape benchmarks.

研究动机与目标

• 为以系统化方式结合轮廓与骨架表示提供解决方案，因为二者分别由不同结构（闭合曲线 vs. 图）抽象而来。
• 利用轮廓点与骨架点之间的自然对应关系，将几何特征（如厚度）与轮廓片段关联。
• 开发一种更具信息量且判别力更强的形状描述符，以捕捉形状各部分的空间分布与厚度变化。
• 通过在统一框架中整合轮廓与骨架特征，同时保持对旋转不变性，从而提升形状识别性能。
• 通过稳健且参数优化的方法，在标准形状数据集上实现最先进分类准确率。

提出的方法

• 提出一种新型低层描述符——骨架关联形状上下文（SSC），通过在形状上下文基础上增加一个第三维，利用骨架半径信息编码厚度差异。
• 针对每个轮廓片段，根据厚度变化定义子部分，并使用编码欧氏距离、方向和厚度差异的三维张量，为每个子部分计算SSC描述符。
• 通过归一化步骤确保旋转不变性，并使用空间金字塔匹配（SPM）在多尺度上聚合特征。
• 采用词袋特征框架并使用学习得到的码书，从形状各处提取的SSC描述符中构建全局形状特征向量。
• 在最终特征向量上训练线性SVM分类器以实现形状分类。
• 通过在Animal数据集上进行消融研究，优化关键参数（如厚度区间数、参考点数、码书大小）。

实验结果

研究问题

• RQ1 能否利用轮廓与骨架之间的自然对应关系，构建一种更富信息量的形状描述符，以同时结合两种表示？
• RQ2 如何在部件层面整合轮廓与骨架特征，以增强判别能力，同时保持对旋转的不变性？
• RQ3 为最大化识别准确率，厚度区间数与参考点数等参数的最优配置是什么？
• RQ4 所提方法是否在标准形状识别基准测试中实现了最先进性能？
• RQ5 为何该方法在MPEG-7某些类别（如“device”）上表现不佳，原因是否与骨架不可靠有关？

主要发现

• 所提出的SSC描述符在多个标准形状基准测试中（包括Animal、Caltech-101和MPEG-7数据集）实现了最先进性能。
• 最优厚度差异区间数（$N_{td}$）为5，因其在准确率与计算成本之间提供了最佳平衡，优于$N_{td} = 3$和$N_{td} = 7$。
• 使用5个参考点进行SSC计算可实现性能与效率的最佳平衡，准确率随参考点数增加而提升，但计算成本显著上升。
• 码书大小对性能有直接影响，准确率随大小从500增至3000而提升，但超过2000后收益递减。
• 该方法在MPEG-7“device”类别上表现不佳，原因在于骨架质量差且结构不一致，表明其对骨架可靠性敏感。
• 该方法在具有良好骨架可计算性的形状上表现稳健且高效，表明通过SSC结合轮廓与骨架能显著提升形状识别准确率。