[论文解读] Predictability of missing links in complex networks

Guillermo García-Pérez, Roya Aliakbarisani+2 more|arXiv (Cornell University)|Jan 31, 2019

Complex Network Analysis Techniques被引用 3

一句话总结

本文通过证明即使采用最优方法——根据连接概率对缺失边进行排序——也无法因网络生成过程中的固有随机性而实现完美精度，从而建立了复杂网络中链接预测准确率的理论上限。其主要贡献是提出一种框架，可利用拟合的网络模型从真实网络中估计这一可预测性极限。

ABSTRACT

Predicting missing links in real networks is an important problem in network science to which considerable efforts have been devoted, giving as a result a vast plethora of link prediction methods in the literature. In this work, we take a different point of view on the problem and study the theoretical limitations to the predictability of missing links. In particular, we hypothesise that there is an irreducible uncertainty in link prediction on real networks as a consequence of the random nature of their formation process. By considering ensembles defined by well-known network models, we prove analytically that even the best possible link prediction method for an ensemble, given by the ranking of the ensemble connection probabilities, yields a limited precision. This result suggests a theoretical limitation to the predictability of links in real complex networks. Finally, we show that connection probabilities inferred by fitting network models to real networks allow to estimate an upper-bound to the predictability of missing links, and we further propose a method to approximate such bound from incomplete instances of real-world networks.

研究动机与目标

• 探究在真实复杂网络中，缺失链接的可预测性是否存在根本性的理论极限。
• 识别给定网络集合（由随机模型定义）下最佳可能的链接预测方法。
• 基于从真实网络中推断的连接概率，推导预测精度的上限。
• 开发一种方法，从真实网络的不完整或部分观测数据中近似该上限。

提出的方法

• 将网络集合 EN 定义为具有 N 个节点的无向网络集合，其中任意一对节点 i 和 j 以独立概率 pij 相连。
• 将网络 G 的联合概率建模为 P(G) = ∏_{i<j} pij^{aij} (1−pij)^{1−aij}，其中 aij 为邻接矩阵的元素。
• 通过从网络 G 中随机移除比例为 q 的边来构建观测图 Gobs，同时保持缺失边的数量不变。
• 将最优策略（OS）定义为按连接概率 pij 对所有缺失边进行排序，并按降序预测的方法。
• 将期望精度 ⟨Q⟩ 计算为在所有可能的原始网络 G 中，能产生相同 Gobs 的正确预测边的平均比例。
• 通过将知名网络模型（如配置模型、隐变量模型）拟合到真实网络，并利用推断出的 pij 计算 OS 的精度，来估计可预测性的理论上限。

实验结果

研究问题

• RQ1 在给定的网络集合中，任何链接预测方法所能达到的最大可能精度是多少？
• RQ2 由于网络生成过程的随机性，链接预测中是否存在不可减少的不确定性？
• RQ3 能否利用从真实网络中推断出的连接概率来估计链接预测精度的理论上限？
• RQ4 当仅能获得不完整或部分网络数据时，如何近似该上限？

主要发现

• 对于网络集合，最优的链接预测策略是根据连接概率 pij 对缺失边进行排序，该策略可使期望精度最大化。
• 即使采用此最优策略，由于网络生成过程中的固有随机性，其精度仍有限，从而证明了预测误差的理论下限。
• 对于真实网络，可通过拟合网络模型（如隐变量模型）并计算基于推断连接概率的 OS 精度，来估计可预测性的上限。
• 该方法可利用部分数据推断出的 pij，从不完整网络实例中近似该上限。
• 在真实网络（如 Karate、Polbooks、Florida Food Web）上的实证验证表明，该上限始终低于 100%，证实了不可减少的不确定性。
• 精度极限在数量上受到限制，且取决于网络的结构特性，如度异质性和聚类性，这些特性由模型拟合结果所捕获。