[论文解读] Online Similarity Prediction of Networked Data from Known and Unknown Graphs

Claudio Gentile, Mark Herbster+1 more|arXiv (Cornell University)|Feb 28, 2013

Advanced Bandit Algorithms Research参考文献 45被引用 11

一句话总结

本文提出了在网络数据中针对已知图和未知图两种情形的在线相似性预测算法。它引入了一种基于矩阵感知机的方法，具有对数时间复杂度的预测性能，并提出了一种新颖的算法用于逐步揭示的图结构，实现了错误边界保证，且每轮时间复杂度为二次方，从而支持在动态演化网络中高效实时学习。

ABSTRACT

We consider online similarity prediction problems over networked data. We begin by relating this task to the more standard class prediction problem, showing that, given an arbitrary algorithm for class prediction, we can construct an algorithm for similarity prediction with "nearly" the same mistake bound, and vice versa. After noticing that this general construction is computationally infeasible, we target our study to {\em feasible} similarity prediction algorithms on networked data. We initially assume that the network structure is {\em known} to the learner. Here we observe that Matrix Winnow \cite{w07} has a near-optimal mistake guarantee, at the price of cubic prediction time per round. This motivates our effort for an efficient implementation of a Perceptron algorithm with a weaker mistake guarantee but with only poly-logarithmic prediction time. Our focus then turns to the challenging case of networks whose structure is initially {\em unknown} to the learner. In this novel setting, where the network structure is only incrementally revealed, we obtain a mistake-bounded algorithm with a quadratic prediction time per round.

研究动机与目标

• 解决图结构已知或逐步揭示的网络化数据中的在线相似性预测问题。
• 开发计算高效的算法，并具备理论上的错误边界，以支持在大规模网络中实时部署。
• 通过归约方法将在线相似性预测与在线顶点分类相连接，实现性能保证。
• 设计一种针对未知图的新算法，能够在探索网络结构的同时学习相似性模式。
• 在预测效率与错误边界性能之间实现有利的权衡。

提出的方法

• 通过使用随机生成的生成树来表示图结构，将矩阵感知机算法适配于网络化数据。
• 采用基本的割集矩阵表示法，以编码图中的类别归属和路径信息。
• 利用类别标签矩阵的向量化形式，通过r-范数感知机学习实现线性阈值预测。
• 引入基于路径的表示方法，其中实例向量由生成树中的路径向量导出。
• 采用l1-范数的向量化标签矩阵与实例向量的l∞-范数结合，进行错误边界分析。
• 设计一种新颖的未知图情况下的算法，通过揭示的路径动态学习网络结构。

实验结果

研究问题

• RQ1 在线相似性预测能否在最小性能损失下归约为在线顶点分类？
• RQ2 在已知图设置下，错误边界性能与预测效率之间的计算权衡如何？
• RQ3 当图结构事先未知时，如何实现高效的相似性预测？
• RQ4 在逐步揭示图结构的未知图设置下，可达到的错误边界是什么？
• RQ5 基于矩阵的感知机算法能否在在线相似性预测中同时实现低计算成本与理论保证？

主要发现

• 矩阵感知机的改进方法实现了每轮的对数时间复杂度预测，使其在大规模网络中具备可扩展性。
• 该算法的错误边界为 O(||vec(U)||₁² log n)，其中 ||vec(U)||₁ 受限于生成树中的总边数。
• 对于未知图情形，所提出的算法实现了每轮时间复杂度为二次方的错误边界，支持在动态演化网络中进行学习。
• 该方法通过割集矩阵表示确保了相似性标签的线性可分性，从而可应用标准在线学习保证。
• 理论分析证实，即使在对抗性输入序列下，该算法仍能保持有界的错误次数。
• 该框架支持在无需预先掌握完整图结构的情况下实现高效在线学习，支持实时部署。