[论文解读] Visualization and Labeling of Point Clouds in Virtual Reality

Jonathan Dyssel Stets, Yongbin Sun+2 more|DSpace@MIT (Massachusetts Institute of Technology)|Apr 11, 2018

Computer Graphics and Visualization Techniques被引用 12

一句话总结

本文提出了一种基于虚拟现实的系统，利用带有触觉反馈的手持控制器实现对动态点云序列的直观、三维感知标注。通过结合基于ICP和彩色增强ICP算法的实时跟踪，该系统实现了对运动物体的高效帧间标注——以杂耍棒数据为例进行了验证，显著提升了标注速度与准确性，优于二维界面。

ABSTRACT

We present a Virtual Reality (VR) application for labeling and handling point cloud data sets. A series of room-scale point clouds are recorded as a video sequence using a Microsoft Kinect. The data can be played and paused, and frames can be skipped just like in a video player. The user can walk around and inspect the data while it is playing or paused. Using the tracked hand-held controller, the user can select and label individual parts of the point cloud. The points are highlighted with a color when they are labeled. With a tracking algorithm, the labeled points can be tracked from frame to frame to ease the labeling process. Our sample data is an RGB point cloud recording of two people juggling with pins. Here, the user can select and label, for example, the juggler pins as shown in Figure 1. Each juggler pin is labeled with various colors to indicate di erent labels.

研究动机与目标

• 为解决2D界面在标注复杂3D点云数据时效率低下的问题，尤其是在物体在正交平面上不可分隔的情况下。
• 实现在虚拟现实中对全景、动态点云序列进行直观、沉浸式的检查与标注。
• 通过引入帧间自动跟踪机制，减少视频类点云序列中的手动标注工作量。
• 展示利用VR实现对动态真实世界场景（如人与物体的交互）高精度标注的可行性。
• 通过改进的标注点云数据集，为机器人、自动驾驶系统以及3D内容创作等未来应用提供支持。

提出的方法

• 系统以约30 fps的频率从Microsoft Kinect 2采集RGB-D数据，并将其转换为(X,Y,Z,R,G,B)格式的点云，以二进制格式存储。
• 基于HTC Vive构建的VR应用程序支持全景可视化与交互，使用追踪头显和手持控制器进行操作。
• 用户通过控制器上的画笔式工具进行点云标注，触觉反馈提供选择确认的触感体验。
• 标签以颜色编码，可通过控制器的触控板切换或清除。
• 通过迭代最近点（ICP）算法，估计最优旋转与平移，实现从第i帧到第i+1帧的标注点跟踪。
• 彩色增强ICP变体通过基于空间邻近度与颜色相似性的匹配选择，利用k-d树实现高效的最近邻搜索。

实验结果

研究问题

• RQ1 与传统2D界面相比，沉浸式VR交互是否能提升复杂3D点云序列标注的效率与准确性？
• RQ2 在动态点云数据中，帧间自动跟踪机制在多大程度上能减少手动标注工作量？
• RQ3 将颜色信息引入ICP算法在多大程度上提升了点云序列中跟踪的鲁棒性与准确性？
• RQ4 基于VR的标注系统是否能够支持对大型、动态3D场景（如人与物体交互）的可扩展、交互式编辑？
• RQ5 在3D数据标注工作流中，使用触觉反馈与3D手势选择具有哪些实际优势？

主要发现

• 基于VR的标注系统相比传统2D界面，在复杂空间构型下实现了更快、更直观的3D点云序列标注。
• 基于ICP的跟踪机制通过在帧间高一致性地传播标签，显著减少了手动标注工作量。
• 彩色增强ICP变体通过利用点对应关系中的几何相似性与色彩相似性，提升了跟踪准确性。
• 选择过程中的触觉反馈增强了用户对交互的感知，提升了标注任务中的信心与精度。
• 该系统仅需每帧少量用户输入，即可成功对多个不同物体（如杂耍棒）在多帧中实现标注与跟踪。
• 该方法具有通用性，可扩展至非Kinect数据，适用于不同尺度、分辨率与数据源的点云。