[论文解读] Search and Navigation in Relational Databases

Richard Wheeldon, Mark Levene+1 more|ArXiv.org|Jul 31, 2003

Advanced Database Systems and Queries参考文献 29被引用 6

一句话总结

本文提出 DbSurfer，一种通过自动构建外键关系的类似 Memex 的数据路径，实现关系型数据库中关键词搜索与导航发现的系统。它采用一种新颖的连接发现算法，遍历模式图并仅通过主键查询检索相关数据，从而在无需 SQL 专业知识的情况下实现快速响应时间。

ABSTRACT

We present a new application for keyword search within relational databases, which uses a novel algorithm to solve the join discovery problem by finding Memex-like trails through the graph of foreign key dependencies. It differs from previous efforts in the algorithms used, in the presentation mechanism and in the use of primary-key only database queries at query-time to maintain a fast response for users. We present examples using the DBLP data set.

研究动机与目标

• 解决缺乏 SQL 专业知识的终端用户访问关系型数据库内容的挑战。
• 通过索引存储在关系型数据库中的“深网”内容，克服传统搜索引擎的局限性。
• 提供一种用户友好的界面，结合关键词搜索与类似超文本系统的导航路径。
• 通过仅使用主键查询而非运行时执行完整 SQL 语句，实现高效、快速的响应时间。

提出的方法

• 从数据库行构建虚拟文档索引，将每行视为用于全文索引的临时文档。
• 构建外键关系图，以建模数据库的逻辑模式结构。
• 应用一种新颖的连接发现算法，基于关键词查询识别并遍历模式图中的路径（路径）。
• 以树状导航界面展示跨多个表的相关数据路径。
• 使用基于 tf.idf 加权的倒排索引，支持对数据库内容的高效全文搜索。
• 通过 servlet 和 RPC（如 SOAP）实现轻量级、无状态的接口，以与现有数据库集成。

实验结果

研究问题

• RQ1 如何在不需用户掌握 SQL 或表结构的情况下，有效支持关系型数据库中的关键词搜索？
• RQ2 能否自动发现并展示类似 Memex 的路径，以改善关系型数据库中的导航与信息发现？
• RQ3 哪些索引与查询技术可确保在深网数据库搜索中实现快速响应时间并保持语义相关性？
• RQ4 如何利用外键关系在多个表之间构建有意义且用户可理解的数据路径？
• RQ5 对大型关系型数据库进行非结构化搜索索引的性能与可扩展性影响是什么？

主要发现

• 该系统成功通过外键关系构建了类似 Memex 的路径，使用户仅通过关键词查询即可导航复杂数据库模式。
• 通过在运行时仅使用主键查询，DbSurfer 实现了快速响应时间，避免了完整 SQL 执行的性能开销。
• 在 UCL 网站上的用户研究表明，结合搜索与导航的界面相比 Google 或 Compass，显著减少了查找信息的时间与点击次数，并提升了用户满意度。
• 该方法通过将各种数据格式（PDF、Office、Flash）的文本内容提取到统一的倒排索引中，实现了对多样化数据格式的高效索引。
• 该系统展示了通过存储过程和 SOAP 等 RPC 协议与现有数据库集成的可行性。
• 安全性仍是一个挑战，因为通过单一用户账户进行索引会绕过细粒度访问控制，可能导致敏感数据暴露。