[论文解读] Simple Search Engine Model: Adaptive Properties for Doubleton

Mahyuddin K. M. Nasution|arXiv (Cornell University)|Dec 19, 2012

Information Retrieval and Data Mining参考文献 2被引用 13

一句话总结

本文提出一种形式化模型，利用集合论和Jaccard系数分析双词搜索引擎事件——共现搜索词——的自适应特性，通过单重和双重向量空间建模其语义关系。关键贡献是一条定理，证明双重事件空间的交集受单重空间大小的限制，从而在信息检索中实现更优的语义相似度检测。

ABSTRACT

In this paper we study the relationship between query and search engine by exploring the adaptive properties for doubleton as a space of event based on a simple search engine. We employ set theory for defining doubleton and generate some properties.

研究动机与目标

• 使用形式化的集合论构造建模搜索查询与搜索引擎之间的语义关系。
• 研究共现搜索词（双词事件）如何反映网页内容中的语义相似度。
• 推导双词空间的自适应特性，以提高信息检索的准确性。
• 通过基数约束和相似度度量形式化单重与双词事件空间之间的关系。
• 建立双词事件交集的理论边界，以支持搜索引擎中的语义推理。

提出的方法

• 将搜索词定义为词元的集合，并通过有序对（词元，网页）建模其在网页中的出现。
• 引入单重事件空间作为包含特定搜索词的网页集合。
• 将双词事件空间定义为两个单重空间的交集，表示两个不同搜索词的共现。
• 应用Jaccard系数度量单重与双词事件空间之间的相似度：$ s_{jc}(t_x,t_y) = \frac{|\Omega_x \cap \Omega_y|}{|\Omega_x| + |\Omega_y| - |\Omega_x \cap \Omega_y|} $。
• 使用集合运算和基数约束推导单重与双词事件空间之间的关系。
• 建立定理3.1，以相对于单个单重空间的大小来界定双词事件交集的大小。

实验结果

研究问题

• RQ1 如何在搜索引擎中将两个不同搜索词的共现形式化为双词事件空间？
• RQ2 双词事件空间相对于单重事件空间具有哪些自适应特性？
• RQ3 Jaccard系数如何基于搜索词在网页中的共现来度量其相似度？
• RQ4 在何种条件下，两个双词事件空间的交集等于其中一个单重事件空间？
• RQ5 双词事件交集的基数相对于单重空间大小受何种约束？

主要发现

• 双词事件空间$ \Omega_x \cap \Omega_y $受单个单重事件空间大小的限制，满足$ |\Omega_x \cap \Omega_y| \leq |\Omega_x| \leq |\Omega| $和$ |\Omega_x \cap \Omega_y| \leq |\Omega_y| \leq |\Omega| $。
• 当$ t_x \neq t_y $但$ t_x, t_y \in \omega_x \land t_x, t_y \in \omega_y $时，双词交集可等于$ |\Omega_x| $，表明在上下文中具有语义等价性。
• 公式(12)表明，当假设$ |\Omega_x \cap \Omega_y| = \Omega_x \cap \Omega_y| + |\Omega_x \cap \Omega_x| + |\Omega_y \cap \Omega_y| $时出现矛盾，表明需要对词元共现施加更严格的约束。
• Jaccard系数提供了基于双词空间中共享网页出现次数的搜索词之间有效相似度度量。
• 该模型表明，若不同搜索词在相同网页中共现，则可产生相同的单重事件集合，意味着在上下文中具有语义等价性。
• 理论分析证实，当$ |\Omega_y| < |\Omega_x| $时，有$ |\Omega_x \cap \Omega_y| < |\Omega_x| $，支持自适应相似度建模的必要性。