[论文解读] PointRNN: Point Recurrent Neural Network for Moving Point Cloud Processing

Hehe Fan, Yi Yang|arXiv (Cornell University)|Oct 18, 2019

3D Shape Modeling and Analysis参考文献 37被引用 81

一句话总结

PointRNN 通过直接使用点坐标和逐点状态来处理移动的三维点云；它包含 PointGRU 和 PointLSTM 变体，并在合成数据和真实驾驶数据集上展示了对移动点云的强预测能力。

ABSTRACT

In this paper, we introduce a Point Recurrent Neural Network (PointRNN) for moving point cloud processing. At each time step, PointRNN takes point coordinates $\boldsymbol{P} \in \mathbb{R}^{n imes 3}$ and point features $\boldsymbol{X} \in \mathbb{R}^{n imes d}$ as input ($n$ and $d$ denote the number of points and the number of feature channels, respectively). The state of PointRNN is composed of point coordinates $\boldsymbol{P}$ and point states $\boldsymbol{S} \in \mathbb{R}^{n imes d'}$ ($d'$ denotes the number of state channels). Similarly, the output of PointRNN is composed of $\boldsymbol{P}$ and new point features $\boldsymbol{Y} \in \mathbb{R}^{n imes d''}$ ($d''$ denotes the number of new feature channels). Since point clouds are orderless, point features and states from two time steps can not be directly operated. Therefore, a point-based spatiotemporally-local correlation is adopted to aggregate point features and states according to point coordinates. We further propose two variants of PointRNN, i.e., Point Gated Recurrent Unit (PointGRU) and Point Long Short-Term Memory (PointLSTM). We apply PointRNN, PointGRU and PointLSTM to moving point cloud prediction, which aims to predict the future trajectories of points in a set given their history movements. Experimental results show that PointRNN, PointGRU and PointLSTM are able to produce correct predictions on both synthetic and real-world datasets, demonstrating their ability to model point cloud sequences. The code has been released at \url{https://github.com/hehefan/PointRNN}.

研究动机与目标

• 推动移动点云处理，超越静态点云分析。
• 引入一种基于点的 RNN，通过在状态和输出中同时利用坐标来保留逐点结构。
• 提出两种鲁棒变体（PointGRU 与 PointLSTM），以解决序列建模中的梯度消失/爆炸问题。
• 展示 PointRNN 家族在合成数据和真实世界驾车数据集上的未来轨迹预测效果。

提出的方法

• 定义 PointRNN，其输入为 (P_t, X_t)，状态为 (P_{t-1}, S_{t-1})，更新 (P_t, S_t) 并输出 (P_t, Y_t)。
• 使用基于点坐标的时空局部相关性，通过邻域查询（k-NN 或 ball query）聚合 X_t 与 S_{t-1}。
• 用基于点的 RNN 运算替代基于连接的 RNN 运算，将邻域聚合表示进行汇聚。
• 通过用基于点的 RNN 运算替代门控机制，提出 PointGRU 与 PointLSTM，以缓解梯度问题。
• 对移动点云预测应用 seq2seq 架构，预测点位移，从而得到 3D 场景流。
• 使用 Moving MNIST 点云以及大型自动驾驶数据集（Argoverse, nuScenes）进行评估，使用 Chamfer Distance (CD) 和 Earth Mover’s Distance (EMD) 作为度量。

实验结果

研究问题

• RQ1 点级递归单元在不进行体素化或全局汇聚的情况下，是否能有效建模移动点云的动力学？
• RQ2 在稳定性和三维轨迹预测的预测精度方面，PointGRU 与 PointLSTM 是否优于 PointRNN？
• RQ3 基于点的局部性和几何保留性如何影响合成数据和真实世界数据的预测质量？

主要发现

• PointRNN及其变体在合成 Moving MNIST 数据和真实驾车数据集上成功预测移动点云中点的未来轨迹。
• 在 Argoverse 上，先进的 PointRNN 实现 CD 0.2789 和 EMD 0.8964，优于若干基线。对于 nuScenes，PointRNN（ball query 变体）的 CD 0.0619 和 EMD 0.3750 已被报告。
• 采用 ball query 和分层（多层）设计的先进架构在精度上有所提升，且相较于基本模型减少了 FLOPs。
• 基于点的模型所需的 FLOPs 明显少于基于体素的方法，分层堆叠在 CD/EMD 上在各设定中都有显著提升。
• ball query 在大型驾车数据集上的预测精度通常优于 k-NN。