[论文解读] Outlier Aware Network Embedding for Attributed Networks

Sambaran Bandyopadhyay, N. Lokesh+1 more|arXiv (Cornell University)|Nov 19, 2018

Anomaly Detection Techniques and Applications参考文献 25被引用 8

一句话总结

本文提出 ONE，一种用于属性网络的无监督异常感知网络嵌入方法，通过联合优化结构损失与基于属性的损失，同时最小化异常值的影响。通过迭代地优化节点嵌入并降低异常节点的权重，ONE 在存在 5% 人工植入异常值的情况下，仍能在异常值检测及节点分类、聚类等下游任务中实现卓越性能。

ABSTRACT

Attributed network embedding has received much interest from the research community as most of the networks come with some content in each node, which is also known as node attributes. Existing attributed network approaches work well when the network is consistent in structure and attributes, and nodes behave as expected. But real world networks often have anomalous nodes. Typically these outliers, being relatively unexplainable, affect the embeddings of other nodes in the network. Thus all the downstream network mining tasks fail miserably in the presence of such outliers. Hence an integrated approach to detect anomalies and reduce their overall effect on the network embedding is required. Towards this end, we propose an unsupervised outlier aware network embedding algorithm (ONE) for attributed networks, which minimizes the effect of the outlier nodes, and hence generates robust network embeddings. We align and jointly optimize the loss functions coming from structure and attributes of the network. To the best of our knowledge, this is the first generic network embedding approach which incorporates the effect of outliers for an attributed network without any supervision. We experimented on publicly available real networks and manually planted different types of outliers to check the performance of the proposed algorithm. Results demonstrate the superiority of our approach to detect the network outliers compared to the state-of-the-art approaches. We also consider different downstream machine learning applications on networks to show the efficiency of ONE as a generic network embedding technique. The source code is made available at https://github.com/sambaranban/ONE.

研究动机与目标

• 解决属性网络中的异常值如何降低标准网络嵌入质量的挑战。
• 开发一种无监督框架，联合学习节点表示并检测异常值，而无需依赖标注数据。
• 最小化结构异常值、基于属性的异常值以及两者结合的异常值对整体嵌入过程的影响。
• 在包括节点分类与聚类在内的多个下游任务中，证明所提方法的有效性。
• 提供一种通用且可扩展的解决方案，适用于具有固有噪声与异常值的真实世界属性网络。

提出的方法

• 提出一种新型代价函数，结合结构重建损失与属性重建损失，并引入异常感知加权机制，以减少异常节点的影响。
• 引入一种联合优化框架，通过迭代梯度下降法同时更新节点嵌入、结构重建与属性重建。
• 应用一种动态加权机制，在优化过程中为被识别为异常的节点分配较低的重要性。
• 采用对称矩阵分解方法，学习保留网络拓扑与节点属性的低维嵌入。
• 利用基于同质性（homophily）的结构邻域与属性邻域之间的相关性，检测指示异常的不一致性。
• 实现一种迭代算法，交替更新嵌入与基于重建误差的异常评分。

实验结果

研究问题

• RQ1 无监督网络嵌入方法能否有效检测并缓解属性网络中结构异常值、属性异常值以及复合异常值的影响？
• RQ2 与解耦或有监督方法相比，联合优化结构与属性是否能显著提升鲁棒性？
• RQ3 在存在异常值的条件下，所提方法在节点分类与聚类等下游任务中，相较于最先进基线方法的性能提升程度如何？
• RQ4 当无标注数据可用时，ONE 与半监督方法 SEANO 的性能相比如何？
• RQ5 即使有 5% 的节点被人工破坏，异常感知的集成是否仍能带来更稳定、更准确的嵌入？

主要发现

• 在节点分类任务中，ONE 持续优于 node2vec 和 TADW 等最先进无监督方法，即使在存在 5% 异常值的情况下，也在所有数据集上取得了最高的 Macro-F1 与 Micro-F1 分数。
• 在 Citeseer 数据集上，ONE 实现了 Micro-F1 得分为 0.82，Macro-F1 得分为 0.78，显著优于 AANE 与 SEANO 在异常值存在条件下的表现。
• 在节点聚类任务中，ONE 在所有数据集上的聚类准确率均与最佳基线（SEANO）相差不超过 2%，尽管其完全无监督，而传统方法在异常值条件下完全失效。
• 该算法在真实世界数据集上收敛迅速，每轮迭代的时间复杂度主要由 O(N²) 操作主导，表明可通过采样或近似方法进行优化。
• 当应用于标准方法生成的嵌入时，ONE 比孤立森林及其他基线方法更有效地检测异常值，证明了其内嵌的异常检测能力。
• 即使没有任何标注数据，ONE 在聚类与分类任务中的性能仍可与或超过半监督方法 SEANO，凸显其鲁棒性与泛化能力。