[论文解读] VoxSegNet: Volumetric CNNs for Semantic Part Segmentation of 3D Shapes

Zongji Wang, Feng Lu|arXiv (Cornell University)|Sep 1, 2018

3D Shape Modeling and Analysis参考文献 3被引用 14

一句话总结

VoxSegNet 提出了一种用于 3D 形状语义部件分割的体素卷积神经网络，通过空间密集提取（SDE）模块保持空间分辨率，通过注意力特征聚合（AFA）模块融合多尺度特征，在有限分辨率下仍能保留精细细节。该方法在大规模 3D 部件分割数据集上实现了最先进性能，展现出卓越的细节准确性和语义一致性。

ABSTRACT

Voxel is an important format to represent geometric data, which has been widely used for 3D deep learning in shape analysis due to its generalization ability and regular data format. However, fine-grained tasks like part segmentation require detailed structural information, which increases voxel resolution and thus causes other issues such as the exhaustion of computational resources. In this paper, we propose a novel volumetric convolutional neural network, which could extract discriminative features encoding detailed information from voxelized 3D data under a limited resolution. To this purpose, a spatial dense extraction (SDE) module is designed to preserve the spatial resolution during the feature extraction procedure, alleviating the loss of detail caused by sub-sampling operations such as max-pooling. An attention feature aggregation (AFA) module is also introduced to adaptively select informative features from different abstraction scales, leading to segmentation with both semantic consistency and high accuracy of details. Experiment results on the large-scale dataset demonstrate the effectiveness of our method in 3D shape part segmentation.

研究动机与目标

• 为解决在有限体素分辨率下保留 3D 形状部件分割中精细结构细节的挑战。
• 克服标准卷积神经网络中最大池化等下采样操作导致的细节损失。
• 通过多尺度特征融合提升 3D 部件分割中的语义一致性和定位准确性。
• 通过网络提取的基于部件的特征实现有效的细粒度形状聚类。

提出的方法

• 空间密集提取（SDE）模块通过避免下采样，在特征提取过程中保持空间分辨率，从而减少下采样操作引起的细节损失。
• SDE 模块使用空洞卷积和跳跃连接，从稀疏体素数据中提取判别性特征。
• 注意力特征聚合（AFA）模块通过可学习的注意力权重，自适应地融合来自不同抽象层级的特征。
• 采用多尺度特征融合策略，将多个 SDE 单元的特征通过 AFA 模块聚合，以提升表征质量。
• 网络在大规模 3D 部件标注数据集上端到端训练，使用体素化形状的交叉熵损失。
• 通过按语义部件掩码并平均特征图，提取基于部件的形状描述符，支持聚类等下游任务。

实验结果

研究问题

• RQ1 体素卷积神经网络架构是否能在有限分辨率下保留 3D 形状部件分割中的精细结构细节？
• RQ2 如何有效融合多尺度特征以平衡语义一致性和定位准确性？
• RQ3 与标准下采样操作相比，SDE 模块在 3D 卷积神经网络中能将细节损失降低多少？
• RQ4 基于注意力的特征聚合是否能优于简单的拼接或平均操作，从而提升分割性能？
• RQ5 从网络中提取的基于部件的特征是否能实现有效的细粒度形状聚类？

主要发现

• 所提出的 VoxSegNet 同时结合 SDE 和 AFA 模块，在大规模 3D 部件分割数据集上实现了最先进性能，显著优于基线 U-Net。
• 消融研究显示，加入 SDE 使 mIoU 提升 3.2%，AFA 提升 2.1%；使用三个 SDE 单元时进一步获得性能增益。
• 采用三个 SDE 单元的网络在 48×48×48 输入分辨率下，感受野达到 43个体素，增强了上下文建模能力。
• 基于部件特征的 t-SNE 可视化显示，具有相似结构特征的椅子（如带扶手或不带扶手的）在特征空间中被聚类在一起。
• 上限分析表明，提高分辨率可提升 mIoU，但收益递减，表明特征提取质量是主要瓶颈。
• 该方法在 Airplane、Car、Chair、Lamp 和 Motorbike 等复杂类别上实现了高精确率和高召回率，证实了在细粒度部件上的鲁棒性。