[论文解读] Remembering what we like: Toward an agent-based model of Web traffic

Bruno Gonçalves, Mark Meiss+3 more|arXiv (Cornell University)|Jan 24, 2009

Complex Network Analysis Techniques参考文献 13被引用 9

一句话总结

本文提出 BookRank，一种基于代理的网络导航模型，通过引入用户记忆机制（如书签列表和标签页浏览行为）来更准确地模拟现实世界的网络流量模式。通过建模用户从排序后的书签重新开始浏览，并允许通过后退按钮或标签页实现分支浏览，BookRank 在预测个体浏览多样性、链接流量分布和返回时间分布方面，优于 PageRank。

ABSTRACT

Analysis of aggregate Web traffic has shown that PageRank is a poor model of how people actually navigate the Web. Using the empirical traffic patterns generated by a thousand users over the course of two months, we characterize the properties of Web traffic that cannot be reproduced by Markovian models, in which destinations are independent of past decisions. In particular, we show that the diversity of sites visited by individual users is smaller and more broadly distributed than predicted by the PageRank model; that link traffic is more broadly distributed than predicted; and that the time between consecutive visits to the same site by a user is less broadly distributed than predicted. To account for these discrepancies, we introduce a more realistic navigation model in which agents maintain individual lists of bookmarks that are used as teleportation targets. The model can also account for branching, a traffic property caused by browser features such as tabs and the back button. The model reproduces aggregate traffic patterns such as site popularity, while also generating more accurate predictions of diversity, link traffic, and return time distributions. This model for the first time allows us to capture the extreme heterogeneity of aggregate traffic measurements while explaining the more narrowly focused browsing patterns of individual users.

研究动机与目标

• 解决 PageRank 等马尔可夫模型在捕捉真实用户网络浏览行为方面的局限性。
• 解释实证数据中观察到的总体流量模式与个体浏览习惯之间的差异。
• 开发一种考虑用户记忆、书签行为和分支导航（如标签页、后退按钮）的模型。
• 改进对网站多样性、链接流量分布和返回时间分布的网络流量预测。
• 调和总体流量的广泛异质性与个体用户专注且重复的浏览模式之间的矛盾。

提出的方法

• 提出 BookRank，一种基于代理的模型，其中每个用户维护一个按访问频率排序的个人书签列表。
• 代理在网页图上执行随机游走，根据书签的排名（即历史访问频率）进行跳转。
• 引入分支参数 pb 以模拟多标签页浏览或后退按钮使用，允许用户在会话中重新访问多个页面。
• 使用基于访问次数加权的书签概率分布，以建模用户对频繁访问网站的偏好。
• 采用随机过程，用户以概率 pt 跳转至新页面，或以概率 1 - pt 返回到已书签的页面。
• 使用树状结构模拟浏览会话，分支由 pb 控制，并测量熵、返回时间及链接流量分布。

实验结果

研究问题

• RQ1 尽管 PageRank 在排名算法中表现成功，为何其无法预测真实世界的网络流量模式？
• RQ2 个体用户浏览行为（如网站多样性与返回时间）在多大程度上偏离马尔可夫假设？
• RQ3 用户记忆与书签行为在多大程度上可解释链接流量和网站受欢迎程度的广泛分布？
• RQ4 标签页浏览或后退按钮使用如何影响已访问网站的分布与返回时间？
• RQ5 能否通过结合书签与分支行为的非马尔可夫模型，更准确地再现个体与总体的流量模式，优于 PageRank？

主要发现

• 实证数据显示，个体用户浏览多样性（以香农熵衡量）显著低于 PageRank 的预测值，且分布更广。
• 真实数据中链接流量分布远比 PageRank 预测的更宽泛，表明用户在链接间移动的变异性更高。
• 对已访问网站的返回时间分布比 PageRank 预测的更集中，表明用户习惯更强，重复访问更频繁。
• 当分支参数 pb ≈ 0.19–0.20 时，BookRank 生成的熵分布与实证数据高度吻合，尤其在增加分支时表现更优。
• 与 PageRank 相比，BookRank 降低了返回时间分布的幂律指数，使返回时间更符合现实。
• 仅按访问频率对书签进行排序，即可充分再现节点与链接流量的实际分布，证明记忆在导航中的关键作用。