[论文解读] Simple Search Engine Model: Adaptive Properties

Mahyuddin K. M. Nasution|arXiv (Cornell University)|Dec 17, 2012

Web Data Mining and Analysis参考文献 2被引用 13

一句话总结

本文提出了一种使用集合论和单子向量空间来表示搜索词及其在网页中的出现情况的正式模型，以描述搜索引擎-查询关系。通过概率包含和集合运算建立自适应特性，表明在重叠网页中互不相交的搜索词会产生相同大小的结果集，从而在信息检索系统中实现语义等价性检测。

ABSTRACT

In this paper we study the relationship between query and search engine by exploring the adaptive properties based on a simple search engine. We used set theory and utilized the words and terms for defining singleton space of event in a search engine model, and then provided the inclusion between one singleton to another.

研究动机与目标

• 使用数学结构形式化描述查询与搜索引擎之间的关系。
• 将搜索词和网页建模为事件的单子空间中的向量，以实现语义表示。
• 通过集合论和概率运算探索搜索引擎的自适应特性。
• 分析不同搜索词在重叠网页中的影响如何改变结果集基数和语义等价性。
• 基于共享网页出现情况，为检测不同搜索词之间的语义等价性提供理论基础。

提出的方法

• 将搜索引擎定义为索引项-页面对 (t_k, ω_k) 的集合，形成多维事件空间 Ω。
• 引入单子搜索引擎事件 Ω_x，即包含特定词 t_x 的网页集合，其基数为 |Ω_x|。
• 应用均匀概率质量函数 P(ω) = 1/|Ω| 来建模术语相关性的不确定性。
• 使用逻辑蕴含 ω ⇒ t_x 确定相关性，其中 P(Ω_x) = |Ω_x|/|Ω| 为术语出现的概率。
• 应用集合运算（并集、交集）来建模多个搜索词及其结果集之间的关系。
• 使用引理1和引理2证明：无共享词汇的不相交术语会产生独立的结果集，而跨非重叠术语的共享网页意味着结果集大小相等。

实验结果

研究问题

• RQ1 如何使用集合论和概率论正式建模查询与搜索引擎之间的关系？
• RQ2 当将搜索词建模为网页索引中的单子向量空间时，会涌现出哪些自适应特性？
• RQ3 在何种条件下，两个不同的搜索词会在搜索引擎中产生相同大小的结果集？
• RQ4 对结果集应用集合运算如何反映搜索词之间的语义关系？
• RQ5 在缺乏词汇重叠的情况下，能否通过共享网页出现情况检测不同术语之间的语义等价性？

主要发现

• 当两个搜索词 t_x 和 t_z 互不相交（t_x ∩ t_z = ∅）但出现在同一组网页中（ω_x ∩ ω_z ≠ ∅）时，其结果集大小相等：|Ω_x| = |Ω_z|。
• 对于无共享词汇的不相交术语 t_y 和 t_z，其结果集交集为空：|Ω_y ∩ Ω_z| = 0，其并集大小为 |Ω_y| + |Ω_z|。
• 该模型表明，只要术语在相同网页中共现，即使词汇不同，其结果集大小在语义等价下保持不变。
• 术语出现的概率在网页索引中均匀分布，k 个词的术语的概率为 P(t_k) = 1/(2^k - 1)。
• 该模型支持结果集的递归叠加：|Ω_x| = |Ω_x| + |Ω_y| + ... + |Ω_z|，表明较大的结果集可由较小的独立集合构建而成。
• 使用 Yahoo! 搜索进行的实证验证表明，术语 "Mahyuddin K. M. Nasution" 返回 3,440 个结果，而其组成部分返回不同数量的结果，支持了术语集合包含与概率的理论模型。