[论文解读] Scheduling Refresh Queries for Keeping Results from a SPARQL Endpoint Up-to-Date (Extended Version)

Magnus Knuth, Olaf Hartig+1 more|arXiv (Cornell University)|Aug 29, 2016

Data Quality and Management参考文献 8被引用 3

一句话总结

本文提出了一种基于中间件的调度策略，用于在动态RDF数据集上刷新SPARQL查询结果，以防止SPARQL端点过载。通过分析DBpedia Live在三个月内的实际查询动态，评估了基于历史更改频率和自适应结果生命周期的调度策略，发现动态、历史感知的调度能最小化遗漏的更改，并在最优资源使用下减少检测时间。

ABSTRACT

Many datasets change over time. As a consequence, long-running applications that cache and repeatedly use query results obtained from a SPARQL endpoint may resubmit the queries regularly to ensure up-to-dateness of the results. While this approach may be feasible if the number of such regular refresh queries is manageable, with an increasing number of applications adopting this approach, the SPARQL endpoint may become overloaded with such refresh queries. A more scalable approach would be to use a middle-ware component at which the applications register their queries and get notified with updated query results once the results have changed. Then, this middle-ware can schedule the repeated execution of the refresh queries without overloading the endpoint. In this paper, we study the problem of scheduling refresh queries for a large number of registered queries by assuming an overload-avoiding upper bound on the length of a regular time slot available for testing refresh queries. We investigate a variety of scheduling strategies and compare them experimentally in terms of time slots needed before they recognize changes and number of changes that they miss.

研究动机与目标

• 解决频繁SPARQL查询刷新带来的可扩展性问题，该问题可能导致公共端点过载。
• 设计一种中间件系统，用于调度查询重新评估，而不会使SPARQL端点不堪重负。
• 在严格的时段约束下评估调度策略，以避免端点过载。
• 基于真实世界SPARQL查询中的历史更改模式，识别最有效的调度启发式方法。
• 最小化遗漏的更改，并减少动态RDF数据集中结果更新的检测时间。

提出的方法

• 该方法使用一个中间件组件，其中应用程序注册其SPARQL查询，并在结果发生变化时接收通知。
• 时段约束限制了每个调度周期内可用的总时长，以防止端点过载。
• 调度策略基于历史更改频率（动态性）和自适应结果生命周期进行评估。
• 仅当估计的更改时间超过可用时段时，才重新执行查询，优先处理高动态查询。
• 系统跟踪结果的同构性以及绑定顺序（针对ORDER BY查询），以检测实际更改。
• 实验使用DBpedia Live上来自LSQ的10,000个真实世界SPARQL查询，历时三个月，每轮修订均收集了运行时间和更改检测指标。

实验结果

研究问题

• RQ1 在固定时段预算下，哪种调度策略能最小化检测SPARQL查询结果更改的时间？
• RQ2 查询结果的历史更改频率（动态性）如何影响调度性能？
• RQ3 自适应结果生命周期能否提高检测准确率并减少遗漏更改？
• RQ4 查询类型（如SELECT、ASK）和运行时间对调度效率有何影响？
• RQ5 数据更新频率高的时期如何影响结果更改的可检测性？

主要发现

• 查询结果的更改历史是决定调度有效性的最关键因素。
• 基于先前识别出的更改频率（动态性）的调度策略，在遗漏更改最少的情况下实现了最佳检测性能。
• 对单个查询结果自适应分配的最大生命周期显著提高了检测速度并减少了假阴性。
• 在所有修订中仅有352个查询发生了更改，每轮修订最多有32次更改，表明整体更新频率较低。
• 所有查询每轮修订的平均运行时间在440至870秒之间，受影响的查询最多消耗了总时间的8.9%。
• 数据更新频率高的时期（如2015年8月下旬）与更改查询结果数量的显著增加密切相关。