[论文解读] Parallel Streaming Signature EM-tree: A Clustering Algorithm for Web Scale Applications

Christopher M. De Vries, Lance De Vine+2 more|QUT ePrints (Queensland University of Technology)|May 21, 2015

Data Management and Algorithms参考文献 37被引用 9

一句话总结

本文提出并行流式签名EM树（Parallel Streaming Signature EM-tree），一种可扩展的聚类算法，仅使用单台中端机器，通过压缩的二进制文档签名和并行流式处理，将数十亿个网页聚类为数十万个细粒度簇。该方法通过利用随机投影实现高效表示，并结合分层EM树结构，在无需高端硬件或类别标签的情况下，实现了优于以往方法的聚类质量和可扩展性。

ABSTRACT

The proliferation of the web presents an unsolved problem of automatically analyzing billions of pages of natural language. We introduce a scalable algorithm that clusters hundreds of millions of web pages into hundreds of thousands of clusters. It does this on a single mid-range machine using efficient algorithms and compressed document representations. It is applied to two web-scale crawls covering tens of terabytes. ClueWeb09 and ClueWeb12 contain 500 and 733 million web pages and were clustered into 500,000 to 700,000 clusters. To the best of our knowledge, such fine grained clustering has not been previously demonstrated. Previous approaches clustered a sample that limits the maximum number of discoverable clusters. The proposed EM-tree algorithm uses the entire collection in clustering and produces several orders of magnitude more clusters than the existing algorithms. Fine grained clustering is necessary for meaningful clustering in massive collections where the number of distinct topics grows linearly with collection size. These fine-grained clusters show an improved cluster quality when assessed with two novel evaluations using ad hoc search relevance judgments and spam classifications for external validation. These evaluations solve the problem of assessing the quality of clusters where categorical labeling is unavailable and unfeasible.

研究动机与目标

• 解决在标准、低成本硬件上对网页规模文档集合（数亿页）进行细粒度聚类的挑战。
• 克服基于采样的方法的局限性，这些方法限制了簇的数量并降低了冗余性，导致聚类结果粗糙且意义较弱。
• 在缺乏类别标签的情况下，开发一种聚类有效性评估框架，以临时检索相关性和垃圾网页分类作为代理指标。
• 为信息检索中的应用（如查询扩展、重排序和集合选择）实现大规模、高效的聚类。

提出的方法

• 通过随机投影将高维稀疏文档向量表示为紧凑的二进制签名，降低存储和计算成本。
• 应用并行流式EM树算法，在签名空间中增量式构建分层聚类结构，实现高效、可扩展的处理。
• 采用两级聚类策略：首先构建粗粒度树结构（第1层），然后在更深层级（第2层）细化簇，以实现细粒度划分。
• 以流式方式处理文档，使算法能够扩展至网页规模集合，而无需完全驻留内存。
• 利用并发和分布式编程技术，将聚类过程并行化到单台机器上的多个CPU核心。
• 整合压缩学习与哈希技术，在大幅降低维度和I/O开销的同时，保持相似性关系。

实验结果

研究问题

• RQ1 是否可以在不依赖采样的前提下，仅使用标准商品化硬件对网页规模文档集合（如5亿页以上）实现细粒度聚类？
• RQ2 当缺乏真实类别标签时，EM树算法生成的聚类质量与现有方法相比如何？
• RQ3 临时检索相关性和垃圾网页分类在多大程度上可作为无监督设置下评估聚类质量的有效代理？
• RQ4 所提出的算法在保持高聚类质量与低计算成本的前提下，能否扩展至数十亿文档？

主要发现

• EM树算法在不到24小时内，仅使用一台16核机器，成功将ClueWeb09中的5亿个网页和ClueWeb12中的7.33亿个网页聚类为50万至70万个簇。
• 与以往方法相比，该算法实现了显著更细粒度的聚类——产生的簇数量比基于采样的方法多出数个数量级，后者通常仅产生约1,000个簇。
• 通过临时检索相关性和垃圾网页分类进行的评估表明，EM树聚类的质量优于基线方法，即使在无类别标签的情况下也成立。
• 该方法表明，细粒度簇能通过捕捉超越关键词匹配的主题关系，提升检索性能，从而支持更优的查询扩展和重排序。
• 在聚类质量指标上，该算法优于k-means及其他基线方法，EM树生成的簇更具一致性且主题更明确，尤其在大规模场景下表现更优。
• 通过随机投影生成的二进制签名显著提升了计算与存储效率，使在标准硬件上实现大规模聚类成为可能，同时不损失聚类保真度。