[论文解读] Web Search Result Clustering based on Heuristic Search and k-means

Mansaf Alam, Kishwar Sadaf|arXiv (Cornell University)|Aug 11, 2015

Data Management and Algorithms参考文献 24被引用 4

一句话总结

本文提出了一种混合网络搜索结果聚类方法，结合启发式搜索与基于余弦相似度的k-means算法，自动确定最优聚类数（k）。通过领域特定的启发式方法推导初始质心，该方法无需手动指定k值，避免了等大小聚类偏差，从而生成更具语义意义、大小可变的聚类，更符合用户的资讯需求。

ABSTRACT

Giving user a simple and well organized web search result has been a topic of active information Retrieval (IR) research. Irrespective of how small or ambiguous a query is, a user always wants the desired result on the first display of an IR system. Clustering of an IR system result can render a way, which fulfills the actual information need of a user. In this paper, an approach to cluster an IR system result is presented.The approach is a combination of heuristics and k-means technique using cosine similarity. Our heuristic approach detects the initial value of k for creating initial centroids. This eliminates the problem of external specification of the value k, which may lead to unwanted result if wrongly specified. The centroids created in this way are more specific and meaningful in the context of web search result. Another advantage of the proposed method is the removal of the objective means function of k-means which makes cluster sizes same. The end result of the proposed approach consists of different clusters of documents having different sizes.

研究动机与目标

• 解决在网页搜索结果聚类中确定最优聚类数（k）的挑战。
• 通过将搜索结果组织为语义上合理、上下文相关的聚类，减少用户挫败感。
• 消除k-means目标函数导致的强制等大小聚类所引入的偏差。
• 通过使用启发式方法生成更具体、更具语义意义的初始质心，提升聚类质量。
• 提供一种可扩展、自动化的解决方案，用于组织多样化的网络搜索结果，而无需外部指定k值。

提出的方法

• 该方法采用基于启发式的策略，从文档分布和查询特征中推导出k的初始值。
• 初始质心通过领域特定的启发式方法生成，而非随机初始化，从而提升相关性与收敛速度。
• 使用余弦相似度作为距离度量，以衡量向量空间模型中文档的相似性。
• 利用启发式推导出的质心应用k-means算法，将文档分组为聚类。
• 修改k-means的目标函数，允许聚类大小可变，避免人为的均匀性。
• 最终聚类输出为语义连贯、非均匀大小的聚类，更真实反映用户实际的资讯需求。

实验结果

研究问题

• RQ1 如何在无需人工输入的情况下，自动确定网络搜索结果聚类中的最优聚类数（k）？
• RQ2 基于启发式的质心初始化是否能提升搜索结果聚类的质量与相关性？
• RQ3 移除k-means的等大小约束后，是否能生成更符合语义的聚类结构？
• RQ4 与标准k-means相比，将启发式方法与k-means结合，在多大程度上提升了聚类有效性？
• RQ5 所提出的方法是否能减少用户在多样化搜索结果中查找相关信息所需的努力？

主要发现

• 启发式方法成功在无需外部输入的情况下确定最优k值，提升了鲁棒性。
• 通过启发式方法生成的质心比随机初始化的质心更具针对性和上下文相关性。
• 该方法生成的聚类大小各异，更符合自然的文档分组方式，而非强制统一。
• 通过避免标准k-means目标函数，该方法防止了人为的聚类偏差。
• 生成的聚类更具语义连贯性，更符合用户的资讯需求。
• 该方法通过提升相关性与减少用户搜索努力，显著改善了聚类质量。