[论文解读] SemanticPaint: A Framework for the Interactive Segmentation of 3D Scenes

Stuart Golodetz, Michael Sapienza+10 more|arXiv (Cornell University)|Oct 13, 2015

Advanced Vision and Imaging参考文献 8被引用 42

一句话总结

SemanticPaint 是一种交互式 3D 场景分割框架，允许用户使用深度摄像头和 VR 头戴设备通过触觉和语音输入实时标注对象，结合用户输入（触摸和语音）与在线随机森林学习，在整个场景中预测语义标签。该系统通过融合用户交互与体素特征的增量学习，实现了实时、高质量、个性化的场景标注。

ABSTRACT

We present an open-source, real-time implementation of SemanticPaint, a system for geometric reconstruction, object-class segmentation and learning of 3D scenes. Using our system, a user can walk into a room wearing a depth camera and a virtual reality headset, and both densely reconstruct the 3D scene and interactively segment the environment into object classes such as 'chair', 'floor' and 'table'. The user interacts physically with the real-world scene, touching objects and using voice commands to assign them appropriate labels. These user-generated labels are leveraged by an online random forest-based machine learning algorithm, which is used to predict labels for previously unseen parts of the scene. The entire pipeline runs in real time, and the user stays 'in the loop' throughout the process, receiving immediate feedback about the progress of the labelling and interacting with the scene as necessary to refine the predicted segmentation.

研究动机与目标

• 开发一种实时、交互式的 3D 场景分割系统，使用户能够通过自然交互方式在环境中标注对象。
• 解决在非受限真实环境中对 3D 场景进行密集、个性化语义标注的挑战。
• 将用户反馈（触摸和语音）与在线机器学习相结合，逐步提高标注准确性。
• 提供一个可重用的软件框架，使研究人员和开发者能够基于一个稳健、模块化的流水线构建 3D 场景理解应用。

提出的方法

• 系统使用深度摄像头和 VR 头戴设备对场景进行实时 3D 重建，表示为体素网格。
• 通过表面触摸检测和语音命令捕获用户交互，利用原始深度图与光线投射深度图之间的深度差分分析来识别触摸点。
• 使用体素特征（如几何、强度和空间特征）在线训练随机森林分类器，以预测语义标签。
• 通过体素网格上的图-based 方法传播用户提供的标签至未标记体素。
• 框架采用模块化库架构（rafl, spaint, tvgutil, rigging）解耦核心功能，支持复用。
• 触摸检测采用两阶段流程：首先对深度差分图像进行连通区域分析，然后通过随机森林分类识别触摸交互。

实验结果

研究问题

• RQ1 如何有效捕获并利用用户交互（如触摸和语音）来引导 3D 场景中的语义标注？
• RQ2 使用随机森林进行在线学习是否能够实现实时、准确的 3D 场景标注，且用户输入极少？
• RQ3 如何利用深度差分分析和连通区域处理在实时环境中可靠检测触摸交互？
• RQ4 在多大程度上可以通过几何和基于特征的推理，将用户提供的标签传播并优化至整个场景？

主要发现

• 系统实现实时性能，触摸检测流水线每帧处理时间约为 5 ms。
• 在理想条件下触摸检测有效，但受深度噪声、相机位姿跟踪不准确以及反光或吸光材料干扰的限制。
• 基于随机森林的触摸检测器对识别触摸交互的分类阈值为 0.5，性能取决于深度差分特征的质量。
• 标签传播能有效将用户提供的标签扩散至整个场景，实现仅需最少人工输入的密集语义分割。
• 该框架成功支持对复杂 3D 场景（包括家具和结构元素）的实时交互式标注，并提供即时视觉反馈。
• 模块化库设计（如 rafl, spaint）支持在各种 3D 场景理解应用中复用和扩展。