[论文解读] SNAKE: Shape-aware Neural 3D Keypoint Field

Zhong Cheng-liang, Peixing You+7 more|arXiv (Cornell University)|Jun 3, 2022

3D Shape Modeling and Analysis被引用 8

一句话总结

SNAKE 提出了一种新颖的无监督 3D 关键点检测框架，通过基于坐标的神经场联合预测形状指标和关键点显著性，实现了内在的形状感知能力。该方法在 ModelNet40、KeypointNet 和 3DMatch 等基准测试中，于重复性、语义一致性和对下采样鲁棒性方面均达到最先进性能，且无需显式监督即可超越先前方法。

ABSTRACT

Detecting 3D keypoints from point clouds is important for shape reconstruction, while this work investigates the dual question: can shape reconstruction benefit 3D keypoint detection? Existing methods either seek salient features according to statistics of different orders or learn to predict keypoints that are invariant to transformation. Nevertheless, the idea of incorporating shape reconstruction into 3D keypoint detection is under-explored. We argue that this is restricted by former problem formulations. To this end, a novel unsupervised paradigm named SNAKE is proposed, which is short for shape-aware neural 3D keypoint field. Similar to recent coordinate-based radiance or distance field, our network takes 3D coordinates as inputs and predicts implicit shape indicators and keypoint saliency simultaneously, thus naturally entangling 3D keypoint detection and shape reconstruction. We achieve superior performance on various public benchmarks, including standalone object datasets ModelNet40, KeypointNet, SMPL meshes and scene-level datasets 3DMatch and Redwood. Intrinsic shape awareness brings several advantages as follows. (1) SNAKE generates 3D keypoints consistent with human semantic annotation, even without such supervision. (2) SNAKE outperforms counterparts in terms of repeatability, especially when the input point clouds are down-sampled. (3) the generated keypoints allow accurate geometric registration, notably in a zero-shot setting. Codes are available at https://github.com/zhongcl-thu/SNAKE

研究动机与目标

• 探究联合学习隐式形状表征与关键点显著性是否能通过形状重建提升 3D 关键点检测性能。
• 解决现有方法依赖离散点云且缺乏内在形状感知能力的局限性。
• 开发一种统一的无监督范式，自然地将 3D 关键点检测与表面重建耦合。
• 提升关键点在下采样及零样本配准场景下的重复性与鲁棒性。
• 在无人工标注监督的前提下，实现跨物体类别的一致语义关键点检测。

提出的方法

• SNAKE 使用基于坐标的神经网络，以连续的 3D 查询坐标作为输入，在共享特征空间中同时预测形状占据情况（表面指标）和关键点显著性分数。
• 该模型采用从基于输入点云条件化的学习隐式表征中提取的三线性特征采样，实现在 3D 空间上的连续、可微分推理。
• 一个并行解码头用于预测关键点显著性，而另一个头则预测查询点是否位于潜在形状表面之上。
• 通过稀疏性损失在每个网格单元内强制局部最大值，并利用相对重复性损失促进不同视角间的一致性检测。
• 推理阶段应用一个优化步骤，通过在显著性场上的梯度上升法精炼关键点坐标。
• 损失函数结合了占据、表面、重复性和稀疏性项，以联合监督形状重建与关键点检测。

实验结果

研究问题

• RQ1 联合隐式形状重建是否能提升 3D 关键点检测性能，特别是在重复性与语义一致性方面？
• RQ2 与基于离散的方法相比，基于坐标的神经场形式是否能实现更好的泛化能力与对稀疏输入点云的鲁棒性？
• RQ3 具有形状感知能力的隐式表征是否能在无人工标注监督的情况下检测出语义上有意义的关键点？
• RQ4 形状重建的集成如何影响关键点在下采样和零样本配准任务中的重复性？
• RQ5 为避免平凡解并确保关键点检测的显著性与可重复性，损失组件的消融分析应如何设计？

主要发现

• 在 ModelNet40 上，SNAKE 在 ε=0.04 的阈值下实现了 85% 的相对重复性，优于先前的无监督方法。
• 在 KeypointNet 上，SNAKE 实现了 89% 的 mIoU（语义关键点检测），展示了无需监督条件下的强大语义一致性。
• 即使在严重下采样条件下，该模型仍保持高重复性（ε=0.1 时为 42% 的相对重复性），优于 UKPGAN 类方法。
• 消融研究显示，若移除占据和表面损失，性能接近为零（重复性仅为 0.92%），证明了这两项损失的必要性。
• 最优网格尺寸 U=6 时性能最佳（85% 相对重复性），而更高的体素分辨率（H=64）可提升结果，但在 H=80 时因余弦相似度噪声而下降。
• 推理阶段的优化步骤至关重要——使用 10 步、学习率为 0.001 时，重复性达到 85.4%；而学习率过低（0.0001）或过高（0.1）均导致性能下降。