[论文解读] SkyServer Traffic Report - The First Five Years

Vik Singh, Jim Gray+6 more|ArXiv.org|Jan 26, 2007

Data Management and Algorithms参考文献 13被引用 35

一句话总结

本文分析了来自 SkyServer（斯隆数字巡天的在线门户）五年来的流量数据，揭示了用户行为、查询使用情况和系统性能的模式。研究展示了该平台通过提供即席 SQL 访问，在支持科学研究和教育方面取得的成功，期间共处理了 1600 万条查询和 6200 万次页面访问，同时提出了一种新颖的方法，利用有效查询语料库来建议更正后的 SQL 查询。

ABSTRACT

The SkyServer is an Internet portal to the Sloan Digital Sky Survey Catalog Archive Server. From 2001 to 2006, there were a million visitors in 3 million sessions generating 170 million Web hits, 16 million ad-hoc SQL queries, and 62 million page views. The site currently averages 35 thousand visitors and 400 thousand sessions per month. The Web and SQL logs are public. We analyzed traffic and sessions by duration, usage pattern, data product, and client type (mortal or bot) over time. The analysis shows (1) the site's popularity, (2) the educational website that delivered nearly fifty thousand hours of interactive instruction, (3) the relative use of interactive, programmatic, and batch-local access, (4) the success of offering ad-hoc SQL, personal database, and batch job access to scientists as part of the data publication, (5) the continuing interest in "old" datasets, (6) the usage of SQL constructs, and (7) a novel approach of using the corpus of correct SQL queries to suggest similar but correct statements when a user presents an incorrect SQL statement.

研究动机与目标

• 理解 SkyServer（斯隆数字巡天的公共门户）的用户访问模式与系统资源使用情况。
• 评估提供即席 SQL、个人数据库和批量访问作为数据发布一部分的有效性。
• 通过互动使用情况和会话时长，评估平台对教育的影响。
• 分析用户对旧数据集和查询模式的长期兴趣程度。
• 开发并验证一种新颖方法，利用有效查询语料库来建议更正的 SQL 查询。

提出的方法

• 对五年间（2001–2006 年）的 Web 和 SQL 访问日志进行分析，包括访客数量、会话时长和数据产品使用情况。
• 根据访问模式和请求频率，将客户端分类为人类用户（mortals）和机器人（bots）。
• 按类型对查询进行分类：交互式查询、程序化访问或批量本地访问。
• 提取并分析 1600 万条即席 SQL 查询，以研究 SQL 构造的使用情况和错误模式。
• 构建有效 SQL 查询语料库，用于训练一个系统，当用户提交错误查询时，可建议语法正确的替代方案。
• 利用公开日志，实现流量和使用趋势分析的可复现性与透明度。

实验结果

研究问题

• RQ1 在会话时长、数据产品访问和客户端类型方面，SkyServer 用户的主要使用模式是什么？
• RQ2 即席 SQL 访问在支持科学研究和数据探索方面有多有效？
• RQ3 用户在多大程度上持续访问旧数据集，反映出数据的长期实用价值？
• RQ4 哪些 SQL 构造最常被使用，查询错误与常见语法模式之间有何关联？
• RQ5 能否有效利用有效 SQL 查询语料库，为用户错误查询建议语法正确的修正版本？

主要发现

• SkyServer 在五年内吸引了 100 万唯一访客，共产生 300 万个会话，累计 1.7 亿次 Web 请求和 6200 万次页面访问。
• 平台处理了 1600 万条即席 SQL 查询，表明用户在交互式数据探索方面高度参与。
• 共提供了近 50,000 小时的互动教学，凸显该网站在教育方面的显著影响。
• 系统成功支持了多种访问方式，程序化访问和批量访问的使用量显著，与交互式查询并行。
• 相当一部分流量来自机器人，表明存在自动化数据采集和系统集成。
• 有效 SQL 查询语料库使一种新颖且高效的建议方法成为可能，可为错误用户查询提供语法正确的替代方案。