[论文解读] Tabulated MLP for Fast Point Feature Embedding

Yusuke Sekikawa, Teppei Suzuki|arXiv (Cornell University)|Nov 23, 2019

3D Shape Modeling and Analysis参考文献 28被引用 4

一句话总结

该论文提出LUTI-MLP，一种基于查表和三线性插值的多层感知机，用以替代点特征嵌入中的标准MLP，实现3D点云处理中80倍的推理加速，同时保持或略微提升精度。该方法在姿态优化中显著加速了特征嵌入与雅可比矩阵的计算，且测试时无近似。

ABSTRACT

Aiming at a drastic speedup for point-data embeddings at test time, we propose a new framework that uses a pair of multi-layer perceptron (MLP) and look-up table (LUT) to transform point-coordinate inputs into high-dimensional features. When compared with PointNet's feature embedding part realized by MLP that requires millions of dot products, ours at test time requires no such layers of matrix-vector products but requires only looking up the nearest entities followed by interpolation, from the tabulated MLP defined over discrete inputs on a 3D lattice. We call this framework as "LUTI-MLP: LUT Interpolation MLP" that provides a way to train end-to-end tabulated MLP coupled to a LUT in a specific manner without the need for any approximation at test time. LUTI-MLP also provides significant speedup for Jacobian computation of the embedding function wrt global pose coordinate on Lie algebra $\mathfrak{se}(3)$ at test time, which could be used for point-set registration problems. After extensive architectural analysis using ModelNet40 dataset, we confirmed that our LUTI-MLP even with a small-sized table ($8 imes 8 imes 8$) yields performance comparable to that of MLP while achieving significant speedup: $80 imes$ for embedding, $12 imes$ for approximate Jacobian, and $860 imes$ for canonical Jacobian.

研究动机与目标

• 在3D点云处理流水线中，大幅加速测试时的点特征嵌入。
• 实现对se(3)中全局姿态的嵌入雅可比矩阵的高效计算，这对点云配准至关重要。
• 设计一种查表MLP框架，在替换标准MLP中计算量大的矩阵-向量乘法的同时，保持高精度。
• 端到端训练该查表网络，无近似，通过插值实现精确推理。

提出的方法

• LUTI-MLP使用标准MLP在离散的3D格点上预计算嵌入基函数，并将结果存储在查找表（LUT）中。
• 在测试时，网络通过8个最近邻格点的三线性插值计算连续3D点的嵌入。
• 嵌入表示为加权和：$\mathbf{z}_i = \sum w_i^{(j)} \bar{\mathbf{z}}_i^{(j)}$，其中权重$w_i^{(j)}$由输入点与格点的接近程度决定。
• 该方法可实现对$\mathbb{R}^3$和$\mathfrak{se}(3)$的嵌入雅可比矩阵的解析且高效的计算，这对配准中的优化至关重要。
• LUT通过反向传播进行端到端训练，网络结构在训练时（基于MLP）与推理时（基于LUT插值）不对称。
• 提出一种新型训练策略，避免近似误差，确保LUT推理与原始MLP完全一致且精确。

实验结果

研究问题

• RQ1 基于查表的MLP能否在3D点云分类中实现与标准MLP相当的性能，同时大幅降低推理时间？
• RQ2 LUTI-MLP框架能否实现对$\mathfrak{se}(3)$中全局姿态的嵌入雅可比矩阵的高效解析计算，适用于配准任务？
• RQ3 查找表大小（如$8\times8\times8$）如何影响点特征嵌入中速度与精度之间的权衡？
• RQ4 在无近似的情况下对LUTI-MLP进行端到端训练，是否能优于直接表学习或简单微调？
• RQ5 LUTI-MLP能否有效应用于分层或基于图的点云网络，以加速特征学习？

主要发现

• 使用$8\times8\times8$表格的LUTI-MLP在ModelNet40上达到88.01%的准确率，略高于原始PointNet的87.03%。
• 与基于标准MLP的PointNet相比，该方法在特征嵌入推理上实现了80倍加速。
• 对$\mathfrak{se}(3)$的雅可比矩阵计算分别实现12倍（近似雅可比）和860倍（标准雅可比）加速。
• 使用$D=64$的LUTI-MLP学习到的嵌入空间与原始MLP高度相似，特征图平滑且结构清晰。
• 直接表学习（LUTI-Direct）在$D$较大时无法更新大多数表项，表明需要类似LUTI-MLP的结构化训练方法。
• 使用标准PointNet模型对LUTI-MLP进行预训练可提升收敛速度与性能，尤其在$D$较小时效果更明显。