[论文解读] VConv-DAE: Deep Volumetric Shape Learning Without Object Labels

Abhishek Sharma, Oliver Grau+1 more|arXiv (Cornell University)|Apr 13, 2016

3D Shape Modeling and Analysis参考文献 24被引用 4

一句话总结

该论文提出 VConv-DAE，一种完全卷积的体素自编码器，能够从带有噪声和不完整的 3D 形状中无监督地学习深层 3D 形状表征，且无需对象标签。通过从损坏的输入中重建体素占据网格进行训练，其在去噪和形状补全任务中达到最先进性能，优于像 ShapeNet 这类有监督方法，且推理速度提升 200 倍。

ABSTRACT

With the advent of affordable depth sensors, 3D capture becomes more and more ubiquitous and already has made its way into commercial products. Yet, capturing the geometry or complete shapes of everyday objects using scanning devices (e.g. Kinect) still comes with several challenges that result in noise or even incomplete shapes. Recent success in deep learning has shown how to learn complex shape distributions in a data-driven way from large scale 3D CAD Model collections and to utilize them for 3D processing on volumetric representations and thereby circumventing problems of topology and tessellation. Prior work has shown encouraging results on problems ranging from shape completion to recognition. We provide an analysis of such approaches and discover that training as well as the resulting representation are strongly and unnecessarily tied to the notion of object labels. Thus, we propose a full convolutional volumetric auto encoder that learns volumetric representation from noisy data by estimating the voxel occupancy grids. The proposed method outperforms prior work on challenging tasks like denoising and shape completion. We also show that the obtained deep embedding gives competitive performance when used for classification and promising results for shape interpolation.

研究动机与目标

• 从原始、带有噪声且不完整的 3D 扫描中学习有意义的 3D 形状表征，且不依赖于对象级别的标注。
• 克服有监督深度学习方法在 3D 形状分析中的局限性，特别是昂贵的标注需求和缓慢的推理速度。
• 开发一种完全卷积、端到端可训练的自编码器，能够很好地泛化到去噪和形状补全等具有挑战性的 3D 重建任务。
• 为先前的深度学习模型（如 ShapeNet）提供一种可扩展、高效且无监督的替代方案，后者需要逐层预训练和基于采样的推理。

提出的方法

• 该方法采用完全卷积的体素自编码器，将带有噪声或不完整的 3D 体素网格映射为干净、完整的重建结果。
• 通过从损坏输入（如随机损坏的体素或被切掉的部分）中重建原始体素占据状态，以无监督方式训练网络。
• 模型采用去噪自编码器目标，其中输入是真实形状的损坏版本，输出是预测的干净形状。
• 该架构为完全卷积结构，支持端到端训练，无需预训练，且避免了基于采样的推理，显著提升了推理阶段效率。
• 学习到的潜在代码可作为下游任务（如分类、插值和形状补全）的深层嵌入。
• 模型在大规模 CAD 数据集上从零开始训练，无需任何对象标签、部件标注或对称性约束。

实验结果

研究问题

• RQ1 完全卷积的体素自编码器是否能在无任何对象级别监督的情况下学习到有意义的 3D 形状表征？
• RQ2 通过体素重建实现的无监督学习，在形状补全和去噪任务上的性能与 ShapeNet 等有监督方法相比如何？
• RQ3 所学习的潜在空间是否能支持下游任务（如形状分类和插值）？
• RQ4 该模型是否能泛化到如切片噪声等具有挑战性的噪声模式（即大块形状缺失）？
• RQ5 与先前工作相比，该方法的计算效率如何，尤其是在推理阶段？

主要发现

• VConv-DAE 在去噪和形状补全任务中均优于 ShapeNet，在所有物体类别上的平均重建误差更低。
• 在具有挑战性的切片噪声场景（30% 体素缺失）下，VConv-DAE 的平均误差为 12.75，显著低于 ShapeNet 的 14.85，表明其具备更强的补全能力。
• 由于推理阶段无需采样，该模型将测试时间推理从 600ms 降低至仅 3ms，实现 200 倍加速。
• 所学习的潜在空间在 3D 形状分类任务中表现出具有竞争力的性能，证明了无监督表征的实用性。
• 定性结果表明，VConv-DAE 能有效重建缺失部分，尤其在床和夜灯等复杂形状上，产生的伪影少于 ShapeNet。
• 该模型能很好地泛化到未见过的噪声模式，包括随机噪声和结构化噪声，验证了其鲁棒性和泛化能力。