[论文解读] Roto-translated Local Coordinate Frames For Interacting Dynamical Systems

Miltiadis Kofinas, Naveen Shankar Nagaraja+1 more|arXiv (Cornell University)|Oct 28, 2021

Data Visualization and Analytics被引用 6

一句话总结

本文提出旋转平移局部坐标系（LoCS），以在几何图神经网络中实现交互动力系统对旋转和平移的不变性。通过将局部坐标系以每个节点为中心并使其与物体朝向对齐，该方法实现了边预测的不变性与轨迹预测的等变性，在交通场景、3D动作捕捉和粒子碰撞数据集上均取得了最先进性能。

ABSTRACT

Modelling interactions is critical in learning complex dynamical systems, namely systems of interacting objects with highly non-linear and time-dependent behaviour. A large class of such systems can be formalized as $\ extit{geometric graphs}$, $\ extit{i.e.}$, graphs with nodes positioned in the Euclidean space given an $\ extit{arbitrarily}$ chosen global coordinate system, for instance vehicles in a traffic scene. Notwithstanding the arbitrary global coordinate system, the governing dynamics of the respective dynamical systems are invariant to rotations and translations, also known as $\ extit{Galilean invariance}$. As ignoring these invariances leads to worse generalization, in this work we propose local coordinate frames per node-object to induce roto-translation invariance to the geometric graph of the interacting dynamical system. Further, the local coordinate frames allow for a natural definition of anisotropic filtering in graph neural networks. Experiments in traffic scenes, 3D motion capture, and colliding particles demonstrate that the proposed approach comfortably outperforms the recent state-of-the-art.

研究动机与目标

• 解决图神经网络在动力系统中因依赖任意全局坐标系而导致泛化能力差的挑战。
• 利用伽利略不变性——特别是旋转平移对称性——以提升样本效率与模型鲁棒性。
• 通过在局部、与物体对齐的坐标系中定义相对位置，实现在图网络中的自然各向异性滤波。
• 构建一个确保边预测中旋转平移不变性与轨迹预测中旋转平移等变性的框架。
• 在包括行人运动、3D人体运动和粒子碰撞在内的多样化动力系统基准上，展示优越性能。

提出的方法

• 为每个节点定义一个以该节点为中心、旋转至匹配物体偏航、俯仰和横滚朝向的局部坐标系。
• 将所有几何特征与消息传递操作转换到局部坐标系中，以强制实现旋转平移不变性。
• 对最终输出应用反向旋转，以恢复全局坐标一致性，确保对全局变换的等变性。
• 引入基于局部坐标系中相对线性与角位置的各向异性连续滤波器，以建模方向依赖性。
• 采用可微分的局部坐标系构建方法，包括自定义的矩阵转欧拉角（ZYX约定）实现，避免对外部库的依赖。
• 使用基于图架构的变分自编码框架进行模型训练，将局部坐标系集成到消息传递层中。

实验结果

研究问题

• RQ1 在几何图神经网络中强制实现旋转平移不变性，是否能提升交互动力系统建模的泛化能力？
• RQ2 使用以每个物体为中心的局部坐标系，对边预测与轨迹预测性能有何影响？
• RQ3 基于相对局部位置的各向异性滤波，与各向同性或全局方法相比，能多大程度提升模型性能？
• RQ4 在缺乏内在物体朝向的场景（如带电粒子）中，该方法表现如何？
• RQ5 所提出的局部坐标系方法是否在多样化动力系统基准上全面优于最先进模型（如 dNRI、NRI、EGNN 和 GRU）？

主要发现

• 所提出的 LoCS 方法在 InD 行人运动预测数据集上达到最先进性能，L2 和 MSE 误差指标均优于 dNRI、NRI、EGNN 和 GRU。
• 在 3D 人体动作捕捉数据集（受试者 #35）上，LoCS 显著降低了位置与速度误差，且在所有时间步均取得更低的 MSE，优于 dNRI、NRI 和 EGNN。
• 在高度交互的带电粒子基准中，LoCS 实现了最低的总误差，展现出在缺乏内在朝向的系统中的鲁棒性。
• 消融实验表明，引入各向异性滤波可显著提升性能，优于各向同性或无滤波的变体，尤其在复杂动态场景中提升最大。
• 若从局部坐标系中移除旋转（仅使用平移），性能显著下降，证实了旋转对齐的重要性。
• 训练期间的速度归一化无法提升性能，而所提出的 LoCS 方法在无需此类依赖数据的预处理下仍取得更优结果。