[论文解读] RL-GAN-Net: A Reinforcement Learning Agent Controlled GAN Network for Real-Time Point Cloud Shape Completion

Muhammad Sarmad, Hyunjoo J. Lee+1 more|arXiv (Cornell University)|Apr 28, 2019

3D Shape Modeling and Analysis参考文献 35被引用 7

一句话总结

RL-GAN-Net 引入了一个强化学习（RL）智能体，用于控制生成对抗网络（GAN），实现实时完成不完整的三维点云。通过在降维潜在空间表示上操作，并利用 RL 智能体选择最优 GAN 噪声向量，该方法即使在 70% 数据缺失的情况下也能实现高保真度完成，其在定性和定量基准测试中均优于自编码器和体素化 GAN，同时提升了下游分类任务的准确率。

ABSTRACT

We present RL-GAN-Net, where a reinforcement learning (RL) agent provides fast and robust control of a generative adversarial network (GAN). Our framework is applied to point cloud shape completion that converts noisy, partial point cloud data into a high-fidelity completed shape by controlling the GAN. While a GAN is unstable and hard to train, we circumvent the problem by (1) training the GAN on the latent space representation whose dimension is reduced compared to the raw point cloud input and (2) using an RL agent to find the correct input to the GAN to generate the latent space representation of the shape that best fits the current input of incomplete point cloud. The suggested pipeline robustly completes point cloud with large missing regions. To the best of our knowledge, this is the first attempt to train an RL agent to control the GAN, which effectively learns the highly nonlinear mapping from the input noise of the GAN to the latent space of point cloud. The RL agent replaces the need for complex optimization and consequently makes our technique real time. Additionally, we demonstrate that our pipelines can be used to enhance the classification accuracy of point cloud with missing data.

研究动机与目标

• 解决由于遮挡、传感器噪声或视图角度受限导致的大面积缺失区域的三维点云补全挑战。
• 通过使用潜在空间表示和 RL 控制，克服 GAN 在点云补全中训练不稳定和困难的问题。
• 通过用 RL 智能体的快速动作选择替代迭代优化，实现实时推理。
• 通过预处理补全形状，提升不完整点云在下游分类任务中的性能。
• 开创性地应用深度强化学习来控制 GAN 输出，实现三维形状补全。

提出的方法

• 预训练的自编码器（AE）将输入的不完整点云编码为低维潜在空间表示。
• 在完整形状的潜在空间表示上训练 GAN，以学习有效点云结构的分布。
• RL 智能体观察编码后的不完整点云，并选择一个噪声向量 $ z $ 输入 GAN 的生成器，以生成补全形状的潜在表示。
• RL 智能体通过最大化基于生成潜在表示与真实值之间相似度的奖励信号进行训练，以切比雪夫距离作为代理指标。
• 混合版本使用预训练的 GAN 判别器，在 AE 和 RL-GAN-Net 生成的形状之间选择最终输出，确保全局一致性。
• 最终从选定的潜在表示解码出完整的点云，并实现实时输出。

Figure 1 : Qualitative results of point cloud shape completion given input data missing 70% of its original points. We present RL-GAN-Net, which observes a partial input point cloud data ( $P_{in}$ ) and completes the shape within a matter of milliseconds. Even when input is severely distorted, our

实验结果

研究问题

• RQ1 强化学习智能体能否在无需迭代优化的情况下，有效控制 GAN 生成高保真度的点云补全？
• RQ2 与自编码器和体素化 GAN 相比，RL-GAN-Net 框架在具有大面积缺失区域（如 70% 缺失）的点云上表现如何？
• RQ3 当 RL-GAN-Net 作为预处理步骤应用时，能否提升下游点云分类任务的准确率？
• RQ4 与基于反向传播的优化方法相比，RL 智能体对 GAN 潜在空间的控制是否更具鲁棒性和更快？
• RQ5 使用基于判别器的混合选择方法是否能提升最终补全形状的质量和一致性？

主要发现

• 在 ShapeNet 数据集上，RL-GAN-Net 与真实值的切比雪夫距离为 0.0531，优于自编码器（0.162）和 $128^3$ 分辨率下的体素化方法（0.169）。
• 在原始点云缺失 70% 的情况下，RL-GAN-Net 仍能保持高保真度补全，更好地保留了局部细节和语义对称性，优于基线方法。
• 当使用 RL-GAN-Net 进行补全时，PointNet 在原始不完整数据上的分类准确率从 50.2% 提升至 82.5%，显著优于在 70% 缺失数据下基于自编码器的管道。
• 在 50% 缺失数据下，混合 RL-GAN-Net + 判别器版本的分类准确率达到 93.3%，而基于自编码器的方法仅为 80.4%。
• RL 智能体实现了实时推理，形状补全仅需毫秒级时间，消除了对缓慢优化型 GAN 反演的依赖。
• 该方法对噪声具有鲁棒性，在输入点云中加入高斯噪声（σ = 0.01）后仍能保持高性能。

Figure 2 : The forward pass of our shape completion network. By observing an encoded partial point cloud, our RL-GAN-Net selects an appropriate input for the latent GAN and generates a cleaned encoding for the shape. The synthesized latent representation is decoded to get the completed point cloud i