[论文解读] Simplicial Attention Neural Networks

L. Giusti, C. Battiloro+3 more|arXiv (Cornell University)|Mar 14, 2022

Topological and Geometric Data Analysis被引用 12

一句话总结

本文提出了一种新型神经网络架构——单纯形注意力神经网络（Simplicial Attention Neural Networks, SANs），通过联合建模不同单纯形阶次上的上下文邻域交互，利用掩码自注意力机制处理单纯形复形上的数据。SANs在缺失数据填补与轨迹预测任务中达到当前最优性能，在高缺失数据率下准确率提升最高达40%。

ABSTRACT

The aim of this work is to introduce simplicial attention networks (SANs), i.e., novel neural architectures that operate on data defined on simplicial complexes leveraging masked self-attentional layers. Hinging on formal arguments from topological signal processing, we introduce a proper self-attention mechanism able to process data components at different layers (e.g., nodes, edges, triangles, and so on), while learning how to weight both upper and lower neighborhoods of the given topological domain in a totally task-oriented fashion. The proposed SANs generalize most of the current architectures available for processing data defined on simplicial complexes. The proposed approach compares favorably with other methods when applied to different (inductive and transductive) tasks such as trajectory prediction and missing data imputations in citation complexes.

研究动机与目标

• 开发一种能够建模复杂系统中多路交互的神经网络架构，超越成对关系的限制。
• 通过引入面向任务的、可学习的注意力机制，对单纯形的上下文邻域进行建模，从而推广现有单纯形神经网络架构。
• 通过稀疏投影算子集成谐波分量滤波，以提升拓扑信号处理中的特征表示能力。
• 利用注意力机制实现在不规则高阶数据结构（如单纯形复形）上的端到端学习。
• 在归纳与归纳设定下的任务（如缺失数据填补与轨迹预测）中展示优越性能。

提出的方法

• 提出一种掩码自注意力机制，可分别关注k-单纯形的上下文邻域，实现对(k±1)-单纯形特征的独立加权。
• 引入稀疏投影算子以提取并处理输入信号的谐波分量，保留拓扑不变性。
• 采用具有可学习注意力头的卷积架构，跨不同单纯形阶次（节点、边、三角形等）运行。
• 使用ReLU激活函数，Xavier均匀初始化，并采用ADAM优化器与学习率调度策略以保证训练稳定性。
• 应用掩码ℓ₁损失，结合早停法与学习率衰减策略，实现稳健优化。
• 通过将谐波投影设为零实现跳跃连接，从而有效转化为残差连接。

实验结果

研究问题

• RQ1 自注意力机制能否被有效适配以处理单纯形复形上的数据，同时建模上下文邻域交互？
• RQ2 通过稀疏投影算子引入谐波分量滤波，对拓扑学习任务的性能有何影响？
• RQ3 为上下文邻域专门设计的、独立的注意力机制是否优于共享或非注意力基线方法？
• RQ4 所提出的SAN架构在归纳与归纳设定下与现有SOTA方法相比表现如何？
• RQ5 在50%数据损坏等高缺失数据场景下，注意力机制在多大程度上提升性能？

主要发现

• 在引用网络填补基准测试中，SAN在所有单纯形阶次与缺失数据比例下均取得最高测试准确率，优于SNN、SCNN与SAT。
• 在50%缺失数据条件下，SAN在5阶单纯形上达到94%准确率，而SCNN(ours)为81%，SAT为82%，SNN为55%。
• 在40%缺失数据条件下，SAN在4阶单纯形上达到91%准确率，显著优于SAT（79%）与SCNN(ours)（81%）。
• 随着缺失数据比例增加，SAN与SAT之间的性能差距进一步扩大，表明SAN具备更强的鲁棒性与注意力学习能力。
• 将谐波投影设为零（即使用跳跃连接）时性能最佳，表明在此设置下，谐波分量的重要性低于邻域注意力机制。
• SAN通过统一注意力基框架，整合了SCNN与MPNN类模型的组件，实现了对现有架构的泛化。