[论文解读] Optimal Algorithms for Crawling a Hidden Database in the Web

Cheng Sheng, Nan Zhang+2 more|arXiv (Cornell University)|Aug 1, 2012

Web Data Mining and Analysis参考文献 4被引用 4

一句话总结

本文提出了针对隐藏数据库（即通过动态接口而非静态链接查询的可访问数据库）的可证明最优爬取算法，通过最小化提取所有元组所需的查询次数来实现。所提出的算法包括针对数值型数据的 rank-shrink 和针对分类型数据的 lazy-slice-cover，均达到渐近最优，并在实际数据中表现出强劲性能，混合算法则支持渐进式元组检索。

ABSTRACT

A hidden database refers to a dataset that an organization makes accessible on the web by allowing users to issue queries through a search interface. In other words, data acquisition from such a source is not by following static hyper-links. Instead, data are obtained by querying the interface, and reading the result page dynamically generated. This, with other facts such as the interface may answer a query only partially, has prevented hidden databases from being crawled effectively by existing search engines. This paper remedies the problem by giving algorithms to extract all the tuples from a hidden database. Our algorithms are provably efficient, namely, they accomplish the task by performing only a small number of queries, even in the worst case. We also establish theoretical results indicating that these algorithms are asymptotically optimal -- i.e., it is impossible to improve their efficiency by more than a constant factor. The derivation of our upper and lower bound results reveals significant insight into the characteristics of the underlying problem. Extensive experiments confirm the proposed techniques work very well on all the real datasets examined.

研究动机与目标

• 解决由于接口查询访问和结果限制，传统基于链接的爬取无法访问隐藏数据库所带来的效率挑战。
• 设计算法，在最坏情况下以最少的查询次数提取隐藏数据库中的所有元组。
• 建立理论下界，证明所提算法渐近最优——即不存在算法能将查询效率提升超过常数因子。
• 设计实用的渐进式爬取算法，实现元组的逐步输出，支持在早期中断时获得有意义的结果子集。
• 在不同真实数据集（包括 Yahoo! Autos 和 NSF）上，评估算法在各种查询结果限制（k）下的性能表现。

提出的方法

• 针对仅含数值型属性的数据集，提出 rank-shrink 算法，通过递归使用范围查询对数据空间进行划分，以最小化冗余或重叠的结果。
• 提出 slice-cover 及其优化变体 lazy-slice-cover，用于分类型数据集，基于属性值的分层划分，高效覆盖所有可能的元组组合。
• 设计混合算法，结合 rank-shrink 与 lazy-slice-cover，以处理混合属性数据集（数值型与分类型），并动态选择每轮查询的最优策略。
• 利用理论分析推导查询复杂度的上下界，证明在最坏情况下算法的渐近最优性。
• 实现启发式策略（如 slice-cover 中的惰性求值），以减少不必要的查询，提升运行时性能，同时不损害正确性。
• 采用渐进式查询执行机制，确保元组被逐步输出，使爬虫可在早期中断时获得有用的结果子集。

实验结果

研究问题

• RQ1 在固定结果限制 k 的情况下，提取隐藏数据库中所有元组所需的最少查询次数是多少？
• RQ2 我们能否设计出在查询复杂度上可证明最优的算法，即使在最坏输入分布下也成立？
• RQ3 属性类型（数值型、分类型或混合型）如何影响爬取算法的结构与效率？
• RQ4 能否设计一种爬取算法，实现渐进式输出，使得部分执行即可获得有意义的元组子集？
• RQ5 像 slice-cover 中的惰性求值等启发式优化，如何在不损害理论保证的前提下提升实际性能？

主要发现

• rank-shrink 算法在数值型数据集上达到渐近最优，其查询复杂度与理论下界仅相差一个常数因子。
• 尽管 slice-cover 在最坏情况下理论上最优，但在实际分类型数据集（如 NSF）上，lazy-slice-cover 的表现优于 slice-cover 和 DFS。
• 混合算法成功结合 rank-shrink 与 lazy-slice-cover，在混合属性数据集（如 Yahoo! Autos 和 Adult）上表现出稳健性能。
• 实验表明，混合算法具有线性渐进性：在完成总查询量的 20% 时，已检索到约 30% 的元组，表明其输出随时间保持一致且可预测。
• 在实际中，rank-shrink 的查询代价随维度 d 几乎呈线性增长，尽管理论预测为线性关系，这归因于真实数据中三路划分不频繁（如 Adult-numeric 数据集）。
• 对于高冗余元组的数据集（如 Yahoo! Autos 中存在 >64 个完全相同的元组），当 k 过小（如 k=64）时，任何算法均无法完全提取数据库，凸显了数据分布对查询可行性的关键影响。