[论文解读] The CAT SET on the MAT: Cross Attention for Set Matching in Bipartite Hypergraphs

Gajanand Sharma, Swyam Prakash Singh+2 more|arXiv (Cornell University)|Oct 30, 2021

Bioinformatics and Genomic Networks被引用 4

一句话总结

本文提出 CATSETMAT，一种用于二分超图学习的新型交叉注意力神经网络，将二分超边预测问题重新构架为集合匹配问题。通过建模左右超边之间的交叉注意力，该方法在性能上超越了现有最先进方法，解决了现有超边嵌入方法中存在的重要正负样本标签困境问题。

ABSTRACT

Usual relations between entities could be captured using graphs; but those of a higher-order -- more so between two different types of entities (which we term "left" and "right") -- calls for a "bipartite hypergraph". For example, given a left set of symptoms and right set of diseases, the relation between a set subset of symptoms (that a patient experiences at a given point of time) and a subset of diseases (that he/she might be diagnosed with) could be well-represented using a bipartite hyperedge. The state-of-the-art in embedding nodes of a hypergraph is based on learning the self-attention structure between node-pairs from a hyperedge. In the present work, given a bipartite hypergraph, we aim at capturing relations between node pairs from the cross-product between the left and right hyperedges, and term it a "cross-attention" (CAT) based model. More precisely, we pose "bipartite hyperedge link prediction" as a set-matching (SETMAT) problem and propose a novel neural network architecture called CATSETMAT for the same. We perform extensive experiments on multiple bipartite hypergraph datasets to show the superior performance of CATSETMAT, which we compare with multiple techniques from the state-of-the-art. Our results also elucidate information flow in self- and cross-attention scenarios.

研究动机与目标

• 填补二分超图这一在两个互不相交节点集之间具有高阶关系结构的机器学习研究空白。
• 识别现有超边嵌入模型（如 Hyper-SAGNN）中的关键缺陷，即在应用于二分超图时存在正负样本标签困境。
• 将二分超边预测重新构架为集合匹配（SETMAT）问题，目标是匹配在某一超边中共现的左右节点子集。
• 提出一种新型神经网络架构 CATSETMAT，利用交叉注意力建模左右超边集之间的交互，提升关系推理能力。
• 通过消融实验验证交叉注意力在捕捉二分关系结构方面的优越性，对比自注意力机制在信息流方面的差异。

提出的方法

• 将二分超边预测形式化为集合匹配任务：给定两组超边（左与右），预测哪些组合构成有效的二分超边。
• 引入一种交叉注意力机制，计算所有左右超边对之间的注意力分数，实现两组之间的交互。
• 设计一种神经网络架构 CATSETMAT，通过从左右超边分别进行查询、键和值的投影，计算交叉注意力特征。
• 采用多头交叉注意力机制，结合残差连接和前馈层，聚合并优化基于注意力的表示。
• 采用对比学习目标，区分正样本对（来自真实二分超边）与负样本对（通过大小随机采样获得）。
• 应用最终的分类头，预测某组对成为有效二分超边的可能性，支持端到端训练。

实验结果

研究问题

• RQ1 交叉注意力机制是否能有效建模二分超图中的高阶关系，其中关系跨越两个互不相交的节点集？
• RQ2 在二分超边预测任务中，交叉注意力机制的性能与自注意力机制（如 Hyper-SAGNN）相比如何？
• RQ3 正负样本标签困境对二分超图中超边预测的影响是什么？是否可以被缓解？
• RQ4 二分超边预测与集合匹配之间是否存在理论等价性？该等价性能否用于改进模型设计？
• RQ5 在二分超图学习背景下，自注意力与交叉注意力的信息流有何不同？

主要发现

• CATSETMAT 在多个二分超图数据集上均达到最先进性能，优于现有模型如 Hyper-SAGNN 和 FSPool。
• Hyper-SAGNN 中的正负样本标签困境导致高方差（最高达13%）和泛化能力差，尤其在 mag-acm-ak 等挑战性数据集上表现明显。
• 当在大小随机负采样方案下训练（移除固定超图约束），Hyper-SAGNN 在 mag-acm-ak 上的测试 AUC 达到 98%，揭示了其原始设置的不稳定性。
• 消融实验确认交叉注意力对捕捉跨集合交互至关重要，而自注意力机制无法建模二分超边的真实关系结构。
• 建立了二分超边预测与集合匹配之间的理论等价性，验证了将问题重新构架为集合匹配的合理性，为所提方法提供了坚实基础。
• 该模型在多种数据集上表现出鲁棒性和一致的性能，包括症状-疾病、电影-演员以及学术合作者网络等。