[论文解读] Simple Search Engine Model: Selective Properties

Mahyuddin K. M. Nasution|arXiv (Cornell University)|Mar 16, 2013

Web Data Mining and Analysis参考文献 4被引用 6

一句话总结

本文提出一种基于单体与双体事件空间的选择性搜索引擎模型，以减少查询结果中的统计偏差。通过引入三元组概念（术语-片段-词语）并利用加权词语图定义微型聚类，证明了存在一种‘阴影’镜像遮蔽，代表最优关键词聚类，从而实现自适应、偏差最小化的信息检索。

ABSTRACT

In this paper we study the relationship between query and search engine by exploring the selective properties based on a simple search engine. We used the set theory and utilized the words and terms for defining singleton and doubleton in the event spaces and then provided their implementation for proving the existence of the shadow of micro-cluster.

研究动机与目标

• 为通过基于集合论关系的模型化选择性特性，解决搜索引擎查询结果中的统计偏差问题。
• 定义并形式化微型聚类作为网页片段中高权重词语的最大团子图的概念。
• 通过归一化频率向量，使用镜像遮蔽表示法对微型聚类进行建模，以实现自适应信息检索。
• 为通过最优微型聚类树识别相关关键词建立理论基础。
• 探索自适应与选择性特性之间重叠原则，为未来知识提取系统提供支持。

提出的方法

• 使用单体空间 $\Omega_x$ 对单个术语进行建模，使用双体空间 $\Omega_x \cap \Omega_y$ 对共现术语进行建模。
• 引入三元组 $P(t_o, S, w) = t_o \times S \times w$，以表示查询术语、网页片段与词语之间的关系。
• 为片段中词语权重定义向量空间 $[\nu_i, \dots, \nu_j]$，按频率降序排列。
• 构建无向词语图 $G = (V, E)$，并基于词语权重阈值 $\alpha$，识别微型聚类 $G' = \langle V, E, \mathbf{w}, f, \rho, \alpha \rangle$。
• 生成最优微型聚类 $T$ 作为保持最强词语关系的无环子图，通过边选择避免环路。
• 将镜像遮蔽 $\mathbf{s}_{[0,1]} = [|\mathbf{w}_i|/|\mathbf{z}|, \dots, |\mathbf{w}_j|/|\mathbf{z}|]$ 定义为微型聚类词语的归一化频率向量。

实验结果

研究问题

• RQ1 如何利用单体与双体事件空间对搜索引擎结果中的选择性特性进行建模？
• RQ2 在事件空间中，微型聚类‘阴影’存在的数学与结构基础是什么？
• RQ3 如何形式化三元组关系（术语-片段-词语）以从网页片段中提取有意义的特征？
• RQ4 在何种条件下，微型聚类可代表与单一实体相关的连贯且最优的词语组？
• RQ5 在重叠关键词集合的背景下，自适应与选择性特性如何相互作用？

主要发现

• 证明了镜像遮蔽 $\mathbf{s}_{[0,1]}$ 的存在性，其为微型聚类词语集的归一化频率向量表示。
• 最优微型聚类 $T$ 被定义为 $G'$ 的子图，且无环路，同时保留最强的词语关系。
• 最优微型聚类 $T$ 的镜像遮蔽 $\mathbf{s}_T$ 被正式确立为在函数 $g$ 下词语集的一对一映射。
• 片段列表中术语 $t_o$ 的概率为 $P(t_o \cap L) = \sum_{i=1}^n \frac{1}{2n}$，由其在片段中的二元包含性推导得出。
• 片段列表中词语 $w$ 的概率为 $P(L \cap \mathbf{w}) = \sum_{i=1}^n \sum_{j=1}^m \frac{1}{\text{max}_i}$，考虑了词语在片段中的频率分布。
• 通过双射映射 $f$、$g$ 和 $\rho$，该模型证明了 $\mathbf{s}_T$ 是 $T$ 的镜像遮蔽，确保结构保真性。