[论文解读] Scalable and Robust Construction of Topical Hierarchies

Chi Wang, Xueqing Liu+2 more|arXiv (Cornell University)|Mar 13, 2014

Data Management and Algorithms参考文献 29被引用 5

一句话总结

本文提出 STROD，一种可扩展且稳健的基于张量的方法，用于从大规模文本集合中构建高质量的主题层次结构。通过在压缩共现统计量上使用自顶向下的递归框架与张量正交分解，STROD 相较于最先进方法实现了数量级的速度提升，同时保持了高度的可解释性与稳定性，支持主题结构的交互式修订。

ABSTRACT

Automated generation of high-quality topical hierarchies for a text collection is a dream problem in knowledge engineering with many valuable applications. In this paper a scalable and robust algorithm is proposed for constructing a hierarchy of topics from a text collection. We divide and conquer the problem using a top-down recursive framework, based on a tensor orthogonal decomposition technique. We solve a critical challenge to perform scalable inference for our newly designed hierarchical topic model. Experiments with various real-world datasets illustrate its ability to generate robust, high-quality hierarchies efficiently. Our method reduces the time of construction by several orders of magnitude, and its robust feature renders it possible for users to interactively revise the hierarchy.

研究动机与目标

• 解决现有层次主题建模方法依赖昂贵的 Gibbs 采样所导致的可扩展性与鲁棒性局限。
• 开发一种支持交互式用户修订的自动化、高质量主题层次结构构建框架。
• 通过整合频繁出现的多词短语作为主题短语，提升可解释性，同时不损害可扩展性。
• 通过数据压缩与张量分解的理论保证，实现在大规模文本集合上的高效推理。
• 提供一种理论上有依据的递归方法，用于层次主题建模，避免联合推理的瓶颈。

提出的方法

• 提出一种递归的、自顶向下的框架，将层次主题推理问题在每一层分解为更小的子问题。
• 在压缩的共现统计量（例如，词共现计数）上使用张量正交分解（TOD）来推断每一层的主题，替代昂贵的 Gibbs 采样。
• 利用张量分解的理论特性，确保推理过程具有鲁棒性、唯一性与稳定性，且在不同运行中方差极低。
• 应用轻量级后验估计，根据推断出的主题分布将频繁出现的多词短语（例如，'database system'，'query processing'）分配至主题。
• 通过利用张量的结构特性，对标准 TOD 算法进行优化，设计出一种可扩展的变体 STROD（可扩展的基于张量的递归正交分解）。
• 在推理后集成多词短语挖掘，以增强主题的可解释性，通过各主题下的后验概率对短语进行排序。

实验结果

研究问题

• RQ1 递归的、自顶向下的层次主题建模方法是否能比联合推理方法实现更好的可扩展性与鲁棒性？
• RQ2 在压缩统计量上应用张量正交分解是否能为大规模文本集合提供稳定、唯一且理论上有依据的主题推理？
• RQ3 整合多词短语在多大程度上能提升主题的可解释性，而不会降低可扩展性？
• RQ4 在运行时间、方差以及主题质量的人工评估方面，所提出方法与最先进方法相比表现如何？
• RQ5 由于其鲁棒性与低方差，该方法是否能够支持主题层次结构的交互式修订？

主要发现

• 与最先进方法相比，STROD 将主题层次结构构建时间减少了 100 至 1000 倍，且在更大数据集上性能差距进一步扩大。
• 在 CS 摘要数据集上，STROD 的运行时间为 0.6114 秒，而 CATHY 为 17.34 秒，hPAM 为 5.578 秒，显示出卓越的可扩展性。
• 在不同运行中主题分配的方差极低（例如，CS 摘要数据集上为 0.0001384），表明具有高度的鲁棒性与稳定性。
• 在人工评估中，STROD 在主题干扰任务中取得最高的 F1 分数（0.82），表明其父-子主题关系质量优异。
• STROD 在主题干扰任务中优于 splitLDA 与 hPAM，表明其生成的层次结构更具意义且更连贯。
• 该方法成功生成了可解释的层次结构，例如 'database system' 与 'query processing' 等多词短语作为相关主题中的顶级短语出现。