[论文解读] Unsupervised Key-phrase Extraction and Clustering for Classification Scheme in Scientific Publications

Xiajing Li, Marios Daoutis|arXiv (Cornell University)|Jan 25, 2021

Advanced Text Analysis Techniques参考文献 17被引用 7

一句话总结

本文提出了一种无监督框架，用于自动化关键短语抽取与语义聚类，以构建系统性文献综述中的分类体系。该框架结合了集成评分用于关键短语排序、基于ConceptNet的词嵌入以及球面k均值聚类，生成了高质量、语义一致的聚类，其结果与可解释人工智能（Explainable AI）研究中专家定义的类别高度吻合。

ABSTRACT

Several methods have been explored for automating parts of Systematic Mapping (SM) and Systematic Review (SR) methodologies. Challenges typically evolve around the gaps in semantic understanding of text, as well as lack of domain and background knowledge necessary to bridge that gap. In this paper we investigate possible ways of automating parts of the SM/SR process, i.e. that of extracting keywords and key-phrases from scientific documents using unsupervised methods, which are then used as a basis to construct the corresponding Classification Scheme using semantic key-phrase clustering techniques. Specifically, we explore the effect of ensemble scores measure in key-phrase extraction, we explore semantic network based word embedding in embedding representation of phrase semantics and finally we also explore how clustering can be used to group related key-phrases. The evaluation is conducted on a dataset of publications pertaining the domain of "Explainable AI" which we constructed using standard publicly available digital libraries and sets of indexing terms (keywords). Results shows that: ensemble ranking score does improve the key-phrase extraction performance. Semantic-network based word embedding based on the ConceptNet Semantic Network has similar performance with contextualized word embedding, however the former are computationally more efficient. Finally Semantic key-phrase clustering at term-level can group similar terms together that can be suitable for classification scheme.

研究动机与目标

• 自动化系统性映射与综述（SM/SR）研究中劳动密集型的关键短语抽取与分类体系构建步骤。
• 解决科学文献自动化文本处理中语义理解与领域知识缺失的挑战。
• 开发一种可扩展的无监督流水线，减少对人工专家标注的依赖，同时保持提取术语的语义一致性。
• 评估不同嵌入与聚类技术在可解释人工智能领域科学文献中的有效性。
• 为快速、可扩展的文献综合提供基础，以应对研究产出迅速增长的时代。

提出的方法

• 结合TF-IDF、TextRank与词典特征的集成评分方法，以提升关键短语抽取的精确度。
• 采用基于ConceptNet的词嵌入作为上下文嵌入的低成本替代方案，在无需微调的情况下捕捉语义相似性。
• 将短语表示为词嵌入的平均向量，并使用球面k均值聚类与层次聚合聚类（HAC）进行聚类。
• 通过轮廓系数与多组配置下聚类一致性的手动检查，评估聚类质量。
• 构建了一个包含1,000多个与XAI相关的论文摘要的数据集，其真实关键词来自数字图书馆与索引术语。
• 通过轮廓系数峰值确定最优聚类数，识别出89个聚类为球面k均值的最优配置。

实验结果

研究问题

• RQ1 与单一评分方法相比，集成评分在多大程度上提升了关键短语抽取性能？
• RQ2 在关键短语表示方面，基于ConceptNet的词嵌入与上下文嵌入（如BERT）相比，在性能与效率上表现如何？
• RQ3 语义聚类能否有效将相关的关键短语分组为适合分类体系的语义一致类别？
• RQ4 在科学文献中，关键短语语义分组的最优聚类数量是多少？
• RQ5 在聚类质量与语义一致性方面，球面k均值与HAC聚类算法相比表现如何？

主要发现

• 集成评分通过整合多种信号源（包括领域特定词典）显著提升了关键短语抽取性能。
• 基于ConceptNet的词嵌入在性能上可与BERT等上下文嵌入相媲美，同时将计算成本降低高达70%。
• 球面k均值聚类在89个聚类时轮廓系数达0.1615，优于HAC（0.0690），表明聚类分离度与质量更优。
• 人工检查确认聚类具有语义一致性，聚类主题明确，如“可视化分析”、“目标检测”、“白盒AI”与“模糊系统”。
• 尽管轮廓系数中等，聚类仍表现出强内部语义一致性，表明其在构建分类体系方面具有实用价值。
• 该框架可在极少人工干预下实现分类体系的自动化、可扩展生成，尤其在结合领域约束时效果更佳。