[论文解读] SyncSpecCNN: Synchronized Spectral CNN for 3D Shape Segmentation

Li Yi, Hao Su+2 more|arXiv (Cornell University)|Dec 2, 2016

3D Shape Modeling and Analysis参考文献 24被引用 40

一句话总结

SyncSpecCNN 提出了一种用于 3D 形状分割的新型谱卷积神经网络架构，通过谱参数化和谱变换器网络，在多尺度图区域和不同非等距形状之间实现了权重共享。它通过在不同形状之间同步谱基并使用谱域中的多尺度空洞卷积，实现了 3D 部分分割和关键点预测的最先进性能。

ABSTRACT

In this paper, we study the problem of semantic annotation on 3D models that are represented as shape graphs. A functional view is taken to represent localized information on graphs, so that annotations such as part segment or keypoint are nothing but 0-1 indicator vertex functions. Compared with images that are 2D grids, shape graphs are irregular and non-isomorphic data structures. To enable the prediction of vertex functions on them by convolutional neural networks, we resort to spectral CNN method that enables weight sharing by parameterizing kernels in the spectral domain spanned by graph laplacian eigenbases. Under this setting, our network, named SyncSpecCNN, strive to overcome two key challenges: how to share coefficients and conduct multi-scale analysis in different parts of the graph for a single shape, and how to share information across related but different shapes that may be represented by very different graphs. Towards these goals, we introduce a spectral parameterization of dilated convolutional kernels and a spectral transformer network. Experimentally we tested our SyncSpecCNN on various tasks, including 3D shape part segmentation and 3D keypoint prediction. State-of-the-art performance has been achieved on all benchmark datasets.

研究动机与目标

• 解决在缺乏规则网格结构的不规则 3D 形状图上应用深度学习的挑战。
• 实现在单个 3D 形状图的不同区域之间的多尺度卷积特征学习。
• 在几何上不相似但相关的 3D 形状之间实现参数共享和信息传递，这些形状具有非同构图。
• 提高在 3D 形状处理中对点云采样密度变化的鲁棒性。
• 通过功能化谱深度学习框架，在 3D 形状部分分割和关键点预测中实现最先进性能。

提出的方法

• 将 3D 形状表示为带有顶点函数的图，将部分分割建模为在顶点上学习 0-1 指示函数。
• 使用图拉普拉斯特征基在谱域中执行卷积，通过与核对偶的逐点乘法实现权重共享。
• 引入了用于支持单个形状内多尺度分析的空洞卷积核的谱参数化。
• 提出了一个谱变换器网络（SpecTN），通过学习功能映射将不同形状的谱基对齐到一个共同的规范空间。
• 在训练期间对初始几何功能映射进行数据依赖性优化，以改善谱同步。
• 采用在原始域和谱域中均运行的全卷积编码器-解码器架构，每次谱到原始域转换后均使用非线性激活。

实验结果

研究问题

• RQ1 如何在具有不同局部几何结构的不规则 3D 形状图上有效执行多尺度卷积特征学习？
• RQ2 当图结构不规则时，如何在单个 3D 形状图的不同区域之间实现权重共享？
• RQ3 如何在非等距、因此谱基不可比的不同 3D 形状之间共享信息？
• RQ4 通过可学习的功能映射实现谱域同步，能否提高对采样密度变化的泛化能力和鲁棒性？
• RQ5 谱卷积神经网络框架能否在 3D 形状部分分割和关键点预测中实现最先进性能？

主要发现

• SyncSpecCNN 在所有 3D 形状部分分割和关键点预测基准数据集上均实现了最先进性能。
• 使用具有多尺度卷积核的调制指数窗核，在跨类别部分分割任务中实现了最高的 IoU（0.7524）。
• SpecTN 显著提高了对点云采样密度变化的鲁棒性，在下采样条件下仍能保持高分割 IoU。
• 在关键点预测中，模型在 0.01 误差阈值下的 PCK 得分为 0.29，优于先前工作（0.16），且在相同条件下表现更优。
• 定性结果表明，即使在几何和拓扑结构差异较大的情况下（如长椅与椅子，吊灯与台灯），分割结果也准确。
• 主要错误模式出现在部件边界处以及语义模糊的情况下，少数情况下出现部件完全遗漏。