[论文解读] Sparse Steerable Convolutions: An Efficient Learning of SE(3)-Equivariant Features for Estimation and Tracking of Object Poses in 3D Space

Jiehong Lin, Hongyang Li+3 more|arXiv (Cornell University)|Nov 14, 2021

Human Pose and Action Recognition被引用 11

一句话总结

本文提出稀疏可导向卷积（SS-Conv），一种计算高效的SE(3)-等变深度学习方法，用于基于稀疏点云的3D物体位姿估计与跟踪。通过利用基于球谐函数的核参数化与稀疏张量运算，SS-Conv在保持SE(3)-等变性的同时加速了推理，在实例级、类别级及跟踪基准上均实现了最先进性能，尤其在高精度指标上取得显著提升。

ABSTRACT

As a basic component of SE(3)-equivariant deep feature learning, steerable convolution has recently demonstrated its advantages for 3D semantic analysis. The advantages are, however, brought by expensive computations on dense, volumetric data, which prevent its practical use for efficient processing of 3D data that are inherently sparse. In this paper, we propose a novel design of Sparse Steerable Convolution (SS-Conv) to address the shortcoming; SS-Conv greatly accelerates steerable convolution with sparse tensors, while strictly preserving the property of SE(3)-equivariance. Based on SS-Conv, we propose a general pipeline for precise estimation of object poses, wherein a key design is a Feature-Steering module that takes the full advantage of SE(3)-equivariance and is able to conduct an efficient pose refinement. To verify our designs, we conduct thorough experiments on three tasks of 3D object semantic analysis, including instance-level 6D pose estimation, category-level 6D pose and size estimation, and category-level 6D pose tracking. Our proposed pipeline based on SS-Conv outperforms existing methods on almost all the metrics evaluated by the three tasks. Ablation studies also show the superiority of our SS-Conv over alternative convolutions in terms of both accuracy and efficiency. Our code is released publicly at https://github.com/Gorilla-Lab-SCUT/SS-Conv.

研究动机与目标

• 解决现有SE(3)-等变网络在稀疏3D数据（如点云）上的计算低效问题。
• 实现在稀疏张量上高效且精确的SE(3)-等变特征学习，同时不牺牲几何不变性。
• 开发一种通用的6D物体位姿估计与跟踪流水线，利用SE(3)-等变特征。
• 证明所提方法在高精度位姿估计场景中的优越性。
• 通过新型特征导向模块实现迭代位姿精炼，利用学习特征的可导向性。

提出的方法

• 通过球谐函数基核的线性组合设计稀疏可导向卷积（SS-Conv），以保持SE(3)-等变性。
• 在GPU上通过仅作用于活跃稀疏张量位置的矩阵-矩阵乘加运算实现SS-Conv，从而提升效率。
• 构建两阶段流水线：第一阶段进行6D位姿预测，随后通过特征导向模块进行迭代精炼。
• 利用特征导向模块在特征空间中直接执行SE(3)变换，实现高效且精确的位姿精炼。
• 端到端训练网络，通过可学习头部从SE(3)-等变特征回归6D物体位姿（旋转与平移）。
• 利用稀疏张量运算避免对空体素进行密集计算，显著降低FLOPs，同时保持几何不变性。

实验结果

研究问题

• RQ1 SE(3)-等变卷积能否在不牺牲几何不变性的前提下，高效应用于稀疏3D点云？
• RQ2 所提出的可导向卷积稀疏实现是否在准确率与推理速度上均优于密集基线？
• RQ3 SE(3)-等变特征的可导向性是否能在两阶段流水线中实现有效的迭代位姿精炼？
• RQ4 所提方法在实例级、类别级及跟踪6D位姿估计的挑战性基准上表现如何？
• RQ5 特征导向模块对最终位姿精度的贡献如何，特别是在高精度场景下？

主要发现

• 在LineMOD数据集上，所提两阶段流水线实现了新的最先进平均ADD(S)为99.2%，优于先前方法。
• 在REAL275数据集上进行类别级6D位姿与尺寸估计时，5°5cm指标从35.9%提升至43.4%，展现出强大的高精度性能。
• 在类别级6D位姿跟踪任务中，方法在5°5cm指标上达到54.5%，IoU 25指标达到98.8%，全面超越6-PACK基线。
• 消融研究证实，通过特征导向模块进行第二阶段精炼显著提升了精度，尤其在高精度场景下。
• SS-Conv模块相比密集可导向卷积显著降低了计算成本，同时保持SE(3)-等变性，使稀疏3D数据的实际部署成为可能。
• 该方法在多种3D任务中泛化能力出色，涵盖实例级、类别级及跟踪基准，表现出一致的优越性。