[论文解读] Textual Spatial Cosine Similarity

Giancarlo Crocetti|arXiv (Cornell University)|May 15, 2015

Topic Modeling参考文献 8被引用 10

一句话总结

本文提出了文本空间余弦相似度（TSCS），一种新颖的文档相似度度量方法，通过引入词语位置和文本中的空间分布，增强了传统余弦相似度。通过建模词语在文本中的空间分布以实现语义相似度，TSCS在检测改写和语义相似度的同时实现了实时性能，弥合了企业搜索系统中效率与语义深度之间的差距。

ABSTRACT

When dealing with document similarity many methods exist today, like cosine similarity. More complex methods are also available based on the semantic analysis of textual information, which are computationally expensive and rarely used in the real time feeding of content as in enterprise-wide search environments. To address these real-time constraints, we developed a new measure of document similarity called Textual Spatial Cosine Similarity, which is able to detect similitude at the semantic level using word placement information contained in the document. We will see in this paper that two degenerate cases exist for this model, which coincide with Cosine Similarity on one side and with a paraphrasing detection model to the other.

研究动机与目标

• 解决深度语义相似度方法在实时企业搜索环境中计算效率低下的问题。
• 开发一种超越词频的相似度度量方法，通过词语排列模式捕捉语义关系。
• 创建一种在退化条件下可优雅降级为标准余弦相似度和改写检测模型的方法。
• 在语义准确性与计算效率之间取得平衡，以实现可扩展的文档检索。
• 为生产环境中的搜索系统提供一种实用的、替代昂贵语义模型的方案。

提出的方法

• TSCS通过基于词语在文档各部分或句子中的空间分布对词语进行加权，扩展了标准余弦相似度。
• 通过将文本划分为空间区间（例如，句子级或段落级区域）来建模文档结构，并计算每个区间的词频。
• 该方法使用编码了词频和空间位置信息的改进向量表示，计算余弦相似度得分。
• 该方法包含一种归一化方案，以保持可解释性，并确保在不同长度文档间的一致性。
• 当忽略空间信息时，TSCS可退化为标准余弦相似度；当词语顺序和邻近性最大化时，可退化为改写检测模型。
• 该模型在真实世界的企业搜索数据集上进行训练和评估，展现出在多种文档类型中的鲁棒性。

实验结果

研究问题

• RQ1 是否存在一种文档相似度度量方法，能够在不依赖计算成本高昂的NLP流水线的情况下实现语义敏感性？
• RQ2 在实时搜索系统中，引入词语位置如何提升相似度检测性能？
• RQ3 当空间信息被移除或最大化时，TSCS的表现如何？
• RQ4 TSCS在检测改写和语义相似度方面是否优于标准余弦相似度？
• RQ5 TSCS能否在企业级搜索环境中实现高效部署？

主要发现

• 当空间特征被禁用时，TSCS可成功退化为标准余弦相似度，验证了其向后兼容性。
• 在高空间一致性条件下，TSCS与已知的改写检测模型对齐，证实其对词语顺序和邻近性的敏感性。
• 与基线余弦相似度相比，该方法在语义相似度检测方面表现更优，尤其在识别改写或语义相关文档方面。
• TSCS保持了较低的计算开销，使其适用于企业搜索系统中的实时索引和检索。
• 在第12届年度研究日数据集上的实证评估显示，TSCS在不牺牲速度的前提下，持续提升了语义相似度检测的性能。
• 该模型在多种文档结构中表现出鲁棒性，表明其在特定文本类型之外也具有良好的泛化能力。