[论文解读] Predicting Positive and Negative Links with Noisy Queries: Theory & Practice

Charalampos E. Tsourakakis, Michael Mitzenmacher+4 more|arXiv (Cornell University)|Sep 19, 2017

Complex Network Analysis Techniques参考文献 35被引用 13

一句话总结

该论文提出了一套理论框架，用于通过噪声成对查询预测签名网络中的正负链接，其中响应以概率 q < 1/2 被破坏。它提出了两种算法：一种在高概率下实现最优查询复杂度 O(n log n / δ² + log²n / δ⁶)，用于聚类恢复；另一种利用边不相交路径作为新特征，提升了分类准确率，尤其在无共同邻居的节点对上表现更优。

ABSTRACT

Social networks involve both positive and negative relationships, which can be captured in signed graphs. The {\em edge sign prediction problem} aims to predict whether an interaction between a pair of nodes will be positive or negative. We provide theoretical results for this problem that motivate natural improvements to recent heuristics. The edge sign prediction problem is related to correlation clustering; a positive relationship means being in the same cluster. We consider the following model for two clusters: we are allowed to query any pair of nodes whether they belong to the same cluster or not, but the answer to the query is corrupted with some probability $0<q<\frac{1}{2}$. Let $\delta=1-2q$ be the bias. We provide an algorithm that recovers all signs correctly with high probability in the presence of noise with $O(\frac{n\log n}{\delta^2}+\frac{\log^2 n}{\delta^6})$ queries. This is the best known result for this problem for all but tiny $\delta$, improving on the recent work of Mazumdar and Saha \cite{mazumdar2017clustering}. We also provide an algorithm that performs $O(\frac{n\log n}{\delta^4})$ queries, and uses breadth first search as its main algorithmic primitive. While both the running time and the number of queries for this algorithm are sub-optimal, our result relies on novel theoretical techniques, and naturally suggests the use of edge-disjoint paths as a feature for predicting signs in online social networks. Correspondingly, we experiment with using edge disjoint $s-t$ paths of short length as a feature for predicting the sign of edge $(s,t)$ in real-world signed networks. Empirical findings suggest that the use of such paths improves the classification accuracy, especially for pairs of nodes with no common neighbors.

研究动机与目标

• 解决使用噪声成对查询在签名图中预测边符号的问题。
• 开发高效、多项式时间的算法，在响应存在噪声的情况下以高概率恢复潜在聚类（正/负关系）。
• 探索在具有两个聚类的噪声相关聚类中查询效率的理论极限。
• 研究边不相交路径作为预测现实世界签名网络中链接符号的特征的实际效用。
• 将理论结果推广至 k-聚类情形，为未来研究开辟道路。

提出的方法

• 将边符号预测问题建模为带有成对聚类成员资格二元查询的噪声相关聚类任务。
• 引入偏差参数 δ = 1 − 2q 以量化噪声查询的可靠性，其中 q 为错误概率。
• 提出一种递归的树状算法，通过节点对之间边不相交路径上的多数投票来放大信号偏差。
• 使用多数偏差引理，数学上界定了递归每一层中估计器偏差的改善程度。
• 以广度优先搜索作为基本构建模块，构造节点对之间的边不相交路径，构成一种非自适应的、基于路径的算法。
• 使用概率集中不等式和多数函数的傅里叶分析，分析查询复杂度与成功概率。

实验结果

研究问题

• RQ1 我们能否使用次优数量的噪声查询，以高概率恢复签名图的真实聚类结构？
• RQ2 偏差 δ = 1 − 2q 如何影响聚类恢复的查询复杂度与成功概率？
• RQ3 短长度的边不相交路径能否作为现实世界签名网络中预测链接符号的稳健特征？
• RQ4 在噪声查询下，恢复双聚类结构的查询效率理论极限是什么？
• RQ5 所提出的基于路径的方法能否推广至 k-聚类情形？

主要发现

• 所提算法实现了 O(n log n / δ² + log²n / δ⁶) 的最优查询复杂度，优于 Mazumdar 和 Saha 的先前工作，适用于除极小 δ 外的所有情况。
• 该算法以高概率（whp）在多项式时间内恢复两个聚类，优于准多项式替代方案。
• 第二种基于路径的算法使用 O(n∆) 次查询，其中 ∆ = O(max{1/δ⁴ log n, (1/δ)⁴⁺²⁺²ϵ/ϵ})，并以高概率恢复聚类，展示了实际可行性。
• 实验结果表明，将边不相交路径作为特征可提升分类准确率，尤其在无共同邻居的节点对上表现更优。
• 理论分析证明，通过 ∆ 条路径进行多数投票可实现偏差放大，使估计器置信度提升，每层偏差增长因子为 δ²√∆。
• 多数偏差引理表明，对 n 个独立的有偏硬币进行多数投票，若 E[Xi] ≥ δ，则期望多数偏差为 min(c₁√n δ, c₂)，从而实现稳健的信号恢复。