[论文解读] Quaternion Equivariant Capsule Networks for 3D Point Clouds

Yongheng Zhao, Tolga Birdal+4 more|arXiv (Cornell University)|Dec 27, 2019

3D Shape Modeling and Analysis参考文献 77被引用 10

一句话总结

本文提出了一种用于3D点云的新型四元数等变胶囊网络（QEC），在实现SO(3)旋转与平移等变性的同时，保持点排列不变性。通过基于Weiszfeld算法的动态路由机制，利用四元数聚合局部参考系（LRFs），网络将物体几何与姿态解耦，实现无需显式姿态监督的联合3D分类与旋转估计，且在ModelNet10和ModelNet40上达到最先进性能。

ABSTRACT

We present a 3D capsule module for processing point clouds that is equivariant to 3D rotations and translations, as well as invariant to permutations of the input points. The operator receives a sparse set of local reference frames, computed from an input point cloud and establishes end-to-end transformation equivariance through a novel dynamic routing procedure on quaternions. Further, we theoretically connect dynamic routing between capsules to the well-known Weiszfeld algorithm, a scheme for solving \emph{iterative re-weighted least squares} (IRLS) problems with provable convergence properties. It is shown that such group dynamic routing can be interpreted as robust IRLS rotation averaging on capsule votes, where information is routed based on the final inlier scores. Based on our operator, we build a capsule network that disentangles geometry from pose, paving the way for more informative descriptors and a structured latent space. Our architecture allows joint object classification and orientation estimation without explicit supervision of rotations. We validate our algorithm empirically on common benchmark datasets.

研究动机与目标

• 开发一种对3D旋转和平移等变且对点排列不变的3D胶囊网络。
• 在无需显式旋转监督的情况下，实现联合3D物体分类与方向估计。
• 从理论上将动态路由与Weiszfeld算法等稳健优化框架关联，实现可证明收敛性。
• 通过四元数值胶囊在潜在空间中实现几何特征与姿态的解耦。
• 通过稀疏LRFs与鲁棒路由机制，在点密度变化和重采样条件下实现鲁棒性能。

提出的方法

• 提出一种四元数等变胶囊（QEC）模块，处理从3D点云中提取的稀疏局部参考系（LRFs）。
• 采用基于Weiszfeld算法的新型动态路由机制，迭代优化基于四元数的胶囊投票，确保收敛性与鲁棒性。
• 利用Weiszfeld迭代中的内点分数作为激活值，实现胶囊层间的信息路由，支持等变特征聚合。
• 构建分层胶囊网络，将低层级LRFs聚合为高层胶囊，表示物体级几何与方向。
• 仅使用分类损失作为训练信号，实现无需旋转标注的自监督方向估计。
• 采用Siamese变体，通过对齐其胶囊表示来估计两组点云之间的相对旋转。

实验结果

研究问题

• RQ1 胶囊网络中的动态路由能否在稳健优化框架（如Weiszfeld算法）中获得理论基础？
• RQ2 能否通过稀疏LRFs与四元数表示，在3D胶囊网络中实现完整的SO(3)旋转等变性？
• RQ3 能否在无显式姿态监督的情况下，使胶囊网络同时完成3D分类与方向估计？
• RQ4 该方法在点密度变化与输入点云随机重采样条件下是否具备鲁棒性？
• RQ5 网络能否在结构化、可解释的潜在空间中实现几何特征与姿态的解耦？

主要发现

• 所提出的QEC网络在ModelNet10的非对称子集上，在具有挑战性的重采样与旋转条件下，实现了0.09的最先进相对角度误差（RAE）。
• 在ModelNet40的非对称子集上，RAE降低至0.10，优于PCA、均值LRF以及需要大量旋转增强的IT-Net和PointNetLK等基线方法。
• 消融实验表明，即使在100%补丁丢弃条件下，网络仍保持87.8%的分类准确率与0.09的RAE，证明其对LRF与点密度变化的鲁棒性。
• 理论分析证实了基于Weiszfeld算法的动态路由具有收敛性，将胶囊路由与具有可证明收敛性的迭代重加权最小二乘（IRLS）优化相联系。
• 网络在无任何显式旋转监督的情况下成功估计了规范方向与相对方向，仅依赖分类损失。
• 该方法优于几何胶囊网络及其他不变性基线方法，后者因未显式建模群值潜在表示而无法估计姿态。