[论文解读] Spherical Regression: Learning Viewpoints, Surface Normals and 3D Rotations on n-Spheres

Shuai Liao, Efstratios Gavves+1 more|arXiv (Cornell University)|Apr 10, 2019

Robotics and Sensor-Based Localization参考文献 34被引用 4

一句话总结

本文提出球回归方法，通过使用指数归一化在n-球面上建模视角、表面法线和3D旋转，以学习3D朝向。通过用指数函数实现的球归一化替代标准归一化，该方法提升了泛化能力并增强了与真实值的对齐，实现了在Pascal3D+和ModelNet10-SO3基准上视角估计、表面法线预测和3D旋转回归任务的最先进性能。

ABSTRACT

Many computer vision challenges require continuous outputs, but tend to be solved by discrete classification. The reason is classification's natural containment within a probability $n$-simplex, as defined by the popular softmax activation function. Regular regression lacks such a closed geometry, leading to unstable training and convergence to suboptimal local minima. Starting from this insight we revisit regression in convolutional neural networks. We observe many continuous output problems in computer vision are naturally contained in closed geometrical manifolds, like the Euler angles in viewpoint estimation or the normals in surface normal estimation. A natural framework for posing such continuous output problems are $n$-spheres, which are naturally closed geometric manifolds defined in the $\mathbb{R}^{(n+1)}$ space. By introducing a spherical exponential mapping on $n$-spheres at the regression output, we obtain well-behaved gradients, leading to stable training. We show how our spherical regression can be utilized for several computer vision challenges, specifically viewpoint estimation, surface normal estimation and 3D rotation estimation. For all these problems our experiments demonstrate the benefit of spherical regression. All paper resources are available at https://github.com/leoshine/Spherical_Regression.

研究动机与目标

• 解决使用深度神经网络学习连续3D朝向（视角、法线、旋转）的挑战。
• 克服标准ℓ₂归一化在球面流形回归任务中的局限性。
• 通过使用指数归一化在n-球面上建模预测，提升泛化能力和与真实值的对齐。
• 在多个3D朝向预测基准（Pascal3D+、NYUv2和ModelNet10-SO3）上展示一致的性能提升。
• 提供球归一化层的雅可比矩阵理论推导，以支持训练稳定性和梯度流动。

提出的方法

• 提出球归一化模块 $ S_{\text{exp}}^n $，替代标准ℓ₂归一化，将输出映射到n-球面。
• 在归一化层中使用指数激活 $ f(o_i) = e^{o_i} $，以增强预测的稀疏性和方向偏好。
• 推导球归一化层的解析雅可比矩阵为 $ \boldsymbol{J}_{\text{exp}} = (\boldsymbol{I} - \boldsymbol{P} \boldsymbol{P}^T) \text{diag}(\boldsymbol{P}) $，实现稳定的反向传播。
• 将球归一化模块作为插件头集成到主干网络（如ResNet101或VGG16）之后，支持端到端训练。
• 将该方法应用于三项任务：视角估计（欧拉角）、表面法线预测（在NYUv2上）和3D旋转回归（在ModelNet10-SO3上的四元数）。
• 采用双头预测头：一个用于绝对值预测（通过离散分桶上的Softmax），一个用于符号预测，提升定位精度。

实验结果

研究问题

• RQ1 与标准ℓ₂归一化相比，球归一化是否能提升深度神经网络在3D朝向预测任务中的泛化能力和与真实值的对齐？
• RQ2 所提出的 $ S_{\text{exp}}^n $ 归一化在Pascal3D+上的细粒度角度指标下，对视角估计的表现如何？
• RQ3 与平滑回归基线相比，球回归是否能在保持细节的同时，使表面法线预测的边界更清晰？
• RQ4 球归一化在对称物体上的3D旋转估计精度提升程度如何，尤其是在对称物体上？
• RQ5 球归一化对梯度流动的理论影响是什么，其归一化层的雅可比矩阵如何体现？

主要发现

• 在Pascal3D+上，所提出的 $ S_{\text{exp}}^1 $ 模块将 Acc@π/6 提升至88.2%（相比Penedones等人方法的83.6%），平均误差（MedErr）降低至9.2°（对比11.6°），在所有类别中均表现出一致的性能提升。
• 在NYUv2上的表面法线估计中，球回归方法的边界比Zhang等人[9]更清晰，尽管平滑度略低，但保留了更多几何细节。
• 在ModelNet10-SO3上，$ S_{\text{exp}}^3 $ 在3D旋转回归任务中优于平坦的VGG16回归基线，尤其在浴缸和桌子等对称物体上表现更优，Acc@π/6更高。
• 在汽车类别上实现93%的类别级 Acc@π/6，在飞机类别上达到98%，优于先前方法在具有挑战性的类别上的表现。
• 理论分析表明，$ \boldsymbol{J}_{\text{exp}} = (\boldsymbol{I} - \boldsymbol{P} \boldsymbol{P}^T) \text{diag}(\boldsymbol{P}) $ 的梯度行为优于 $ \boldsymbol{J}_{\text{flat}} $，支持训练稳定性的提升。
• 球回归模块在所有评估任务和基准上均一致提升性能，证明其在3D几何学习中的广泛适用性。