[论文解读] Parameter-free Dynamic Graph Embedding for Link Prediction

Jiahao Liu, Dongsheng Li+4 more|arXiv (Cornell University)|Oct 15, 2022

Advanced Graph Neural Networks被引用 14

一句话总结

FreeGEM 是一种用于链接预测的无参动态图嵌入方法，通过在线-监控-离线架构将协同用户关系与个性化交互模式解耦，实现实时、高效的嵌入更新。它通过避免反向传播，在实现SOTA精度的同时实现超过36倍的加速，并通过整合用户属性提升了冷启动和公平性表现。

ABSTRACT

Dynamic interaction graphs have been widely adopted to model the evolution of user-item interactions over time. There are two crucial factors when modelling user preferences for link prediction in dynamic interaction graphs: 1) collaborative relationship among users and 2) user personalized interaction patterns. Existing methods often implicitly consider these two factors together, which may lead to noisy user modelling when the two factors diverge. In addition, they usually require time-consuming parameter learning with back-propagation, which is prohibitive for real-time user preference modelling. To this end, this paper proposes FreeGEM, a parameter-free dynamic graph embedding method for link prediction. Firstly, to take advantage of the collaborative relationships, we propose an incremental graph embedding engine to obtain user/item embeddings, which is an Online-Monitor-Offline architecture consisting of an Online module to approximately embed users/items over time, a Monitor module to estimate the approximation error in real time and an Offline module to calibrate the user/item embeddings when the online approximation errors exceed a threshold. Meanwhile, we integrate attribute information into the model, which enables FreeGEM to better model users belonging to some under represented groups. Secondly, we design a personalized dynamic interaction pattern modeller, which combines dynamic time decay with attention mechanism to model user short-term interests. Experimental results on two link prediction tasks show that FreeGEM can outperform the state-of-the-art methods in accuracy while achieving over 36X improvement in efficiency. All code and datasets can be found in https://github.com/FudanCISL/FreeGEM.

研究动机与目标

• 解决动态交互图中用户建模噪声的问题，其中协同关系与个性化交互模式可能产生分歧。
• 通过引入无参框架，消除动态链接预测中的耗时反向传播。
• 通过属性集成的嵌入学习，改善低资源用户群体的冷启动与公平性表现。
• 实现实时、可扩展的链接预测，同时计算开销极低。
• 在动态图环境中，通过解耦协同过滤与个性化兴趣建模，提升预测精度。

提出的方法

• FreeGEM采用在线-监控-离线架构：在线模块通过闭式在线SVD实现实时嵌入更新；监控模块实时估算近似误差；离线模块在误差超过阈值时重新校准嵌入。
• 离线模块采用频率感知偏好矩阵重构以缓解过度平滑问题，并通过属性集成SVD减少冷启动影响。
• 个性化动态交互模式建模器结合动态时间衰减与注意力机制，优先考虑近期交互并捕捉用户特定的短期兴趣。
• 动态时间衰减选择性遗忘早期交互，使模型聚焦于近期用户行为。
• 注意力机制作用于‘衰减后’的物品嵌入序列，以建模个体用户交互模式。
• 所有组件均为无参设计，避免反向传播，从而实现高计算效率。

实验结果

研究问题

• RQ1 解耦协同关系与个性化交互模式是否能提升动态图中的链接预测精度？
• RQ2 无参方法是否能在不损失精度的前提下实现动态链接预测的高效率？
• RQ3 在SVD中集成属性是否能提升冷启动及低资源用户群体的性能？
• RQ4 在线-监控-离线架构如何在实现实时更新的同时保持精度？
• RQ5 该方法在不同性别群体间的推荐表现偏差上，减少程度如何？

主要发现

• 与SOTA方法如JODIE和CoPE相比，FreeGEM在计算效率上实现超过36倍的加速，且随着交互量增长，运行时间仅出现适度增加。
• 在未来的物品推荐任务中，FreeGEM在精度上优于SOTA方法，当集成属性后，冷启动用户的Recall@10相对提升达166%。
• 对于7位此前Recall@10为0的冷启动用户，FreeGEM将其平均Recall@10提升至0.100，展现出强大的冷启动性能。
• FreeGEM对数据稀疏性具有高度鲁棒性：在训练集比例从10%到80%的范围内，性能保持稳定。
• 在ML-100K数据集中，集成用户属性后，男性与女性用户之间的召回率差距从45.9%下降至22.8%，表明推荐中的性别偏差显著降低。
• 属性集成SVD显著提升了低资源群体（如ML-100K中的女性用户）的嵌入质量，增强了公平性与模型公平性。