[论文解读] Principled Simplicial Neural Networks for Trajectory Prediction

T. Mitchell Roddenberry, Nicholas Glaze+1 more|arXiv (Cornell University)|Feb 19, 2021

Topological and Geometric Data Analysis参考文献 35被引用 10

一句话总结

本文提出了一种基于单纯复形的原理性单纯神经网络架构，用于轨迹预测，通过奇非线性激活函数强制实现排列等变性、方向等变性和单纯形感知性。该方法通过利用代数拓扑工具（如定向单纯形上的霍奇拉普拉斯算子和边界算子），在合成数据集和真实世界数据集上实现了对未见轨迹的优越泛化能力。

ABSTRACT

We consider the construction of neural network architectures for data on simplicial complexes. In studying maps on the chain complex of a simplicial complex, we define three desirable properties of a simplicial neural network architecture: namely, permutation equivariance, orientation equivariance, and simplicial awareness. The first two properties respectively account for the fact that the node indexing and the simplex orientations in a simplicial complex are arbitrary. The last property encodes the desirable feature that the output of the neural network depends on the entire simplicial complex and not on a subset of its dimensions. Based on these properties, we propose a simple convolutional architecture, rooted in tools from algebraic topology, for the problem of trajectory prediction, and show that it obeys all three of these properties when an odd, nonlinear activation function is used. We then demonstrate the effectiveness of this architecture in extrapolating trajectories on synthetic and real datasets, with particular emphasis on the gains in generalizability to unseen trajectories.

研究动机与目标

• 开发一种适用于单纯复形上数据的可泛化神经网络架构，以尊重其内在的拓扑对称性。
• 形式化神经网络在单纯复形上的三个关键属性：排列等变性、方向等变性和单纯形感知性。
• 设计一种基于代数拓扑的卷积架构，满足上述属性，并提升轨迹预测中的泛化能力。
• 在合成和真实世界场景中，通过实证验证该架构在未见轨迹上的性能表现。

提出的方法

• 该架构基于单纯复形的链复形，利用离散微积分导出的边界算子和霍奇拉普拉斯算子构建。
• 通过确保网络输出在复形中顶点重标记下保持不变，实现排列等变性。
• 通过奇非线性激活函数实现方向等变性，使网络行为在单纯形方向反转时保持一致。
• 网络采用简单且可堆叠的卷积设计，每层先应用线性变换，再通过奇非线性激活函数，以保持等变性。
• 利用霍奇拉普拉斯算子在链复形上定义扩散算子，实现在不同维度单纯形之间的平滑信号传播。
• 该架构在轨迹预测任务上进行端到端训练，其输出依赖于完整的单纯复形结构，而不仅限于部分维度。

实验结果

研究问题

• RQ1 如何设计单纯复形上的神经网络，以尊重底层拓扑的内在对称性，如顶点重标记和方向反转？
• RQ2 为确保神经网络输出依赖于完整的单纯复形结构而非仅其部分维度，需要哪些架构约束？
• RQ3 奇非线性激活函数是否足以强制实现单纯神经网络中的方向等变性？
• RQ4 在轨迹预测中，引入单纯形感知性在多大程度上能提升对未见轨迹的泛化能力？
• RQ5 与现有图神经网络或单纯神经网络相比，该架构在复杂关系数据上的泛化能力和鲁棒性如何？

主要发现

• 当使用奇非线性激活函数时，所提出的架构满足所有三个期望属性：排列等变性、方向等变性和单纯形感知性。
• 奇非线性激活确保了网络行为在方向反转下保持一致，这对拓扑不变性至关重要。
• 实证结果表明，在合成数据集和真实世界数据集上，该方法在未见轨迹的泛化能力上均有显著提升，尤其在外推场景中表现突出。
• 该架构通过利用单纯复形中编码的高阶关系结构，在轨迹预测任务中优于基线模型。
• 该方法对单纯形索引和方向的变化表现出鲁棒性，证实了理论设计原则在实践中的有效性。
• 消融实验表明，奇非线性激活对方向等变性至关重要，而偶非线性或线性激活会破坏这种对称性。