[论文解读] Torch-Points3D: A Modular Multi-Task Frameworkfor Reproducible Deep Learning on 3D Point Clouds

Thomas Chaton, Nicolas Chaulet+2 more|arXiv (Cornell University)|Oct 9, 2020

3D Shape Modeling and Analysis被引用 6

一句话总结

Torch-Points3D 是一个基于 PyTorch 的模块化、可复现的 3D 点云深度学习框架，通过统一的训练、评估和推理协议，标准化了多种任务和数据集上的流程。它通过统一的协议实现公平基准测试，在配准和分割任务中达到最先进性能，并通过推理时投票和 CPU 加速预处理显著提升推理精度。

ABSTRACT

We introduce Torch-Points3D, an open-source framework designed to facilitate the use of deep networks on3D data. Its modular design, efficient implementation, and user-friendly interfaces make it a relevant tool for research and productization alike. Beyond multiple quality-of-life features, our goal is to standardize a higher level of transparency and reproducibility in 3D deep learning research, and to lower its barrier to entry. In this paper, we present the design principles of Torch-Points3D, as well as extensive benchmarks of multiple state-of-the-art algorithms and inference schemes across several datasets and tasks. The modularity of Torch-Points3D allows us to design fair and rigorous experimental protocols in which all methods are evaluated in the same conditions. The Torch-Points3D repository :https://github.com/nicolas-chaulet/torch-points3d

研究动机与目标

• 通过标准化实验协议和实现方法，减少 3D 深度学习研究中的技术债务，提升可复现性。
• 通过开箱即用支持多种 3D 数据集、模型和任务，降低研究人员和实践者的入门门槛。
• 通过统一的配置与评估系统，实现跨多样化数据集和任务的最先进模型公平、可比性评估。
• 通过将半径搜索等计算密集型操作卸载到 CPU，加速训练和推理。
• 通过未来高级 API 支持迁移学习和自监督方法。

提出的方法

• 该框架采用模块化、基于配置的架构，使用 Hydra 实现统一的模型与超参数管理。
• 它集成了表现优异的网络重实现（如 KPConv、Minkowski Engine、RS-CNN），并支持即插即用的主干网络替换。
• 它在 S3DIS、ScanNet、3DMatch 和 KITTI 等数据集上统一了数据加载、预处理、增强和评估指标。
• 通过集成投票机制——对多次前向传播的预测结果取平均——提升推理时的分割精度。
• 基于 CPU 的预处理将半径搜索和下采样从 GPU 卸载，实现训练吞吐量最高达 8 倍的加速。
• 配准流程结合 Minkowski Engine 主干网络与 TEASER 和 RANSAC，实现鲁棒的变换估计。

实验结果

研究问题

• RQ1 模块化框架在 3D 点云模型基准测试中如何提升可复现性和公平性？
• RQ2 推理时投票在不同主干网络上对分割 mIoU 的提升程度如何？
• RQ3 基于 CPU 的预处理是否能显著加速大规模 3D 点云的训练？
• RQ4 结合现代主干网络与鲁棒估计器的统一配准流程能实现何种性能？
• RQ5 Torch-Points3D 如何实现跨多样化 3D 任务和数据集的高效模型比较与选择？

主要发现

• 推理时投票在所有模型上均使 mIoU 提升 1–3 个百分点，其中 Minkowski Engine 的相对增益最大（在 S3DIS 上从 65.9% 提升至 69.1%）。
• KPConv 主干在 S3DIS 6 折交叉验证中，经投票后达到 67.2% mIoU，优于 PointNet++（投票后为 59.0%）。
• 基于 CPU 的半径搜索使 S3DIS 上的训练速度提升至 199.9 kpts/s（GPU 上为 38.6 kpts/s），实现 8 倍加速。
• 配准流程在 KITTI Odometry 上实现 99.8% 的成功率，在 3DMatch 上实现 94.3% 的成功率（使用 FCGF + RANSAC），达到或超过先前最先进水平。
• 该框架在 5 项任务和 7 个数据集上实现了稳定、公平的基准测试，确保所有模型在相同条件下评估。
• 模块化设计使得通过极少代码修改即可无缝集成新模型、新数据集和新推理方案。