[论文解读] Optimal link prediction with matrix logistic regression

Nicolai Baldin, Quentin Berthet|arXiv (Cornell University)|Mar 19, 2018

Complex Network Analysis Techniques参考文献 69被引用 6

一句话总结

本文提出了一种矩阵逻辑回归模型，用于在具有顶点侧信息的网络中实现最优链接预测，在块稀疏结构假设下建立了Frobenius-范数风险的极小极大最优率。研究证明，尽管组合惩罚最大似然估计器可达到该最优率，但在标准计算复杂度假设下，任何多项式时间算法都无法实现该最优率，揭示了统计与计算之间存在根本性的权衡。

ABSTRACT

We consider the problem of link prediction, based on partial observation of a large network, and on side information associated to its vertices. The generative model is formulated as a matrix logistic regression. The performance of the model is analysed in a high-dimensional regime under a structural assumption. The minimax rate for the Frobenius-norm risk is established and a combinatorial estimator based on the penalised maximum likelihood approach is shown to achieve it. Furthermore, it is shown that this rate cannot be attained by any (randomised) algorithm computable in polynomial time under a computational complexity assumption.

研究动机与目标

• 开发一种利用顶点侧信息在大规模网络中实现统计最优链接预测的框架。
• 在高维矩阵逻辑回归模型中，建立Frobenius-范数风险估计的极小极大速率。
• 研究在多项式时间约束下实现极小极大最优速率的计算可行性。
• 揭示稀疏块结构交互矩阵估计中的统计-计算间隙。
• 将经典模型的下界技术扩展至具有协变量的广义线性模型。

提出的方法

• 将链接预测建模为矩阵逻辑回归，其中边存在的概率取决于顶点侧信息与未知交互矩阵的双线性形式的sigmoid函数。
• 施加结构假设：真实交互矩阵为具有有界秩和稀疏性的块稀疏矩阵，反映其低维内在结构。
• 提出一种基于惩罚最大似然的组合估计器，以实现极小极大最优估计速率。
• 通过归约至植 clique 问题并利用 Le Cam 方法，推导出估计风险的极小极大下界。
• 通过证明在植 clique 问题计算困难的假设下，任何多项式时间算法都无法达到极小极大速率，建立计算困难性。
• 采用基于估计矩阵范数的检验统计量来区分假设，将估计误差与高维检验框架中的检测能力联系起来。

实验结果

研究问题

• RQ1 在具有侧信息的高维矩阵逻辑回归模型中，链接预测的极小极大估计速率是什么？
• RQ2 在相同结构假设下，多项式时间算法能否实现极小极大最优估计速率？
• RQ3 交互矩阵的块稀疏结构如何影响链接预测中的统计与计算权衡？
• RQ4 极小极大下界在多大程度上可推广至具有协变量的广义线性模型？
• RQ5 在该类模型中，统计最优性与计算可行性之间是否存在根本性差距？

主要发现

• 在块稀疏假设下，矩阵逻辑回归模型中Frobenius-范数风险的极小极大速率被确定为 $\Omega\left(\frac{k^2 \alpha_N^2}{N}\right)$，其中 $k$ 为块秩，$\alpha_N$ 控制稀疏性。
• 组合惩罚最大似然估计器可达到该极小极大速率，证明统计最优性是可实现的。
• 在植 clique 问题计算困难的假设下，任何多项式时间算法都无法达到极小极大速率，从而建立了计算下界。
• 极小极大速率无法被任何随机化多项式时间算法实现，表明存在根本性的统计-计算权衡。
• 下界技术可推广至广义线性模型，表明此类权衡可能在高维网络模型中普遍存在。
• 结果表明，若底层问题在统计上仍困难，则施加额外的低秩结构无法在计算上带来帮助。