[论文解读] ScanDP: Generalizable 3D Scanning with Diffusion Policy

Itsuki Hirako, Ryo Hakoda+4 more|arXiv (Cornell University)|Mar 11, 2026

3D Shape Modeling and Analysis被引用 0

一句话总结

ScanDP 使用以占据网格地图为条件的扩散策略来学习可泛化、数据高效的3D 扫描，并通过路径优化实现安全高效，覆盖率与鲁棒性方面优于基线。

ABSTRACT

Learning-based 3D Scanning plays a crucial role in enabling efficient and accurate scanning of target objects. However, recent reinforcement learning-based methods often require large-scale training data and still struggle to generalize to unseen object categories.In this work, we propose a data-efficient 3D scanning framework that uses Diffusion Policy to imitate human-like scanning strategies. To enhance robustness and generalization, we adopt the Occupancy Grid Mapping instead of direct point cloud processing, offering improved noise resilience and handling of diverse object geometries. We also introduce a hybrid approach combining a sphere-based space representation with a path optimization procedure that ensures path safety and scanning efficiency. This approach addresses limitations in conventional imitation learning, such as redundant or unpredictable behavior. We evaluate our method on diverse unseen objects in both shape and scale. Ours achieves higher coverage and shorter paths than baselines, while remaining robust to sensor noise. We further confirm practical feasibility and stable operation in real-world execution.

研究动机与目标

• 使 unseen objects 在有限专家数据下实现可泛化的3D 扫描。
• 通过占据网格映射提高对噪声和传感条件变化的鲁棒性。
• 通过路径优化实现安全、高效的长视角相机轨迹。
• 利用扩散策略模仿人类式扫描策略，同时确保无碰撞路径。

提出的方法

• 用占据网格地图 (OGM) 表征环境，通过深度测量的贝叶斯对数胜率更新。
• 用稀疏卷积对 OGM 特征进行编码，产生紧凑的场景表示。
• 使用条件去噪扩散概率模型 (DDPM) 以 OGM 特征和相机位姿历史为条件生成多步动作。
• 推理阶段将初始随机动作去噪，得到表示下一个相机位姿的 N 步动作序列。
• 在 OGM 上应用泡泡式碰撞过滤，以裁剪不安全的视点并确保安全轨迹。
• 通过视点提取和动态规划的短视角路径优化，最小化视点数量同时保持重建损失低于阈值。
• 将最终扫描轨迹输出为相机位姿的水平线，并累积深度图以构建最终点云。

实验结果

研究问题

• RQ1 扩散策略的模仿学习是否能在有限专家数据下实现对未见对象的高泛化？
• RQ2 与基于点云的方法相比，使用占据网格地图是否提升对噪声和对象几何变化的鲁棒性？
• RQ3 路径优化（泡泡过滤与视点提取）在实际应用中如何影响扫描效率和安全性？
• RQ4 在传感器噪声和视场变化下，与 DP、DP3 等基线相比，该方法在真实世界实验中的表现如何？

主要发现

• ScanDP 在未见对象上的泛化覆盖率更高（大约 94.0 ± 4.3% 对比 DP 的 87 ± 11% 与 DP3 的 89 ± 11%）。
• 路径优化相较于无优化，平均减少行进距离约 32%。
• 真实世界实验显示 ScanDP 的覆盖率约为 95 ± 2.0%，优于 DP3 的 33 ± 10.0%。
• 在高斯深度噪声下，ScanDP 在噪声水平 0.1 时保持约 88% 的覆盖率，而 DP3 在 0.01 噪声时下降更明显至约 74%。
• 基于 OGM 的感知对视场变化具有鲁棒性，ScanDP 在 L515(89.44%)、D435(83.13%)、D415(97.40%) 的覆盖率均高于 DP3。
• 消融结果显示默认的概率 OGM、网格大小为 0.02 m 时提供最佳权衡；阈值化 OGM 或更粗/更细的网格会降低性能。