[论文解读] On the Continuity of Rotation Representations in Neural Networks

Yi Zhou, Connelly Barnes+3 more|arXiv (Cornell University)|Dec 17, 2018

3D Shape Modeling and Analysis参考文献 29被引用 57

一句话总结

论文在神经网络中为旋转表示定义连续性的概念，证明常见的3D旋转表示在低维空间中的不连续性，给出高维的连续表示（特别是5D和6D）用于SO(n)，并在自编码、旋转估计和逆运动学等任务中实证显示这些连续表示能提升学习效果。

ABSTRACT

In neural networks, it is often desirable to work with various representations of the same space. For example, 3D rotations can be represented with quaternions or Euler angles. In this paper, we advance a definition of a continuous representation, which can be helpful for training deep neural networks. We relate this to topological concepts such as homeomorphism and embedding. We then investigate what are continuous and discontinuous representations for 2D, 3D, and n-dimensional rotations. We demonstrate that for 3D rotations, all representations are discontinuous in the real Euclidean spaces of four or fewer dimensions. Thus, widely used representations such as quaternions and Euler angles are discontinuous and difficult for neural networks to learn. We show that the 3D rotations have continuous representations in 5D and 6D, which are more suitable for learning. We also present continuous representations for the general case of the n-dimensional rotation group SO(n). While our main focus is on rotations, we also show that our constructions apply to other groups such as the orthogonal group and similarity transforms. We finally present empirical results, which show that our continuous rotation representations outperform discontinuous ones for several practical problems in graphics and vision, including a simple autoencoder sanity test, a rotation estimator for 3D point clouds, and an inverse kinematics solver for 3D human poses.

研究动机与目标

• 为神经网络中使用的表示定义连续性的概念，并将其与拓扑学（同胚与嵌入）联系起来。
• 描述在二维、三维及n维旋转中，哪些旋转表示是连续的、哪些是不连续的。
• 提出并形式化SO(n)的连续表示，包括明确的构造和维度方面的考虑。
• 通过实验性结果证明在实际的图形/视觉任务中，连续表示优于不连续表示。

提出的方法

• 通过一对映射（f, g）引入一个连续表示的形式化定义，其中g是连续的，并将其与同胚/嵌入的概念联系起来。
• 分析常见的3D旋转表示（欧拉角、四元数）的不连续性，并证明SO(3)不能嵌入到低维欧几里得空间（<5D）。
• 构建维度为n^2 - n的SO(n)连续表示（情景3），并展示在保持连续性的同时如何降维（情景4及基于投影的方法）。
• 通过类似Gram-Schmidt的嵌入（情景3）将SO(3)专门化为6D连续表示，以及通过投影降维（情景4）到5D的连续表示。
• 讨论扩展到O(n)和相似变换，并提供网络实现指南（正交化的含义）。
• 在旋转自编码、3D点云旋转估计和3D人体姿态逆向运动学等任务上，实证比较连续表示与不连续表示。

实验结果

研究问题

• RQ1 是否可以为神经网络训练使旋转表示连续化？这对学习效率和准确性有何影响？
• RQ2 将SO(3)连续嵌入到欧几里得空间需要哪些维度？是否可以用实用的维度（5D/6D）构造连续表示？
• RQ3 在自编码、姿态估计和逆运动学等任务中，连续表示是否带来可测量的性能提升？
• RQ4 所提出的连续表示是否可以推广到其他群，例如O(n)和相似变换？

主要发现

• 在低维欧几里得空间（≤4D）中的3D旋转表示是不连续的，学习变得困难。
• SO(n)的连续表示存在于n^2 − n维，其中5D和6D在SO(3)上被证明是实用的。
• 一种受Gram-Schmidt启发的6D表示（以及通过投影的5D表示）能够输出映射到有效旋转的结果，保持正交性。
• 实证结果显示在旋转自编码、3D点云旋转估计和3D人体姿态逆向运动学的任务中，连续表示优于不连续表示，错误显著更低、收敛更快。
• 对3x3矩阵的直接回归比所提出的连续表示产生更大的误差。
• 网络内部（或通过后处理）的正交化与表示选择相关，凸显更高维连续形式的实际好处。