[论文解读] Toward Network-based Keyword Extraction from Multitopic Web Documents

Sabina Šišović, Sanda Martinčić-Ipšić+1 more|arXiv (Cornell University)|Jul 14, 2014

Advanced Text Analysis Techniques被引用 3

一句话总结

本文提出了一种无监督的、基于网络的关键词提取方法，用于多主题克罗地亚网络文档，通过在加权有向共现网络上使用入/出选择性度量。通过结合入/出选择性和权重对词对进行排序，并应用停用词过滤和高权重过滤，该方法在无需词形还原或词性标注的情况下，有效识别出语义丰富的关键词，且在过滤停用词方面优于标准的中心性度量方法。

ABSTRACT

In this paper we analyse the selectivity measure calculated from the complex network in the task of the automatic keyword extraction. Texts, collected from different web sources (portals, forums), are represented as directed and weighted co-occurrence complex networks of words. Words are nodes and links are established between two nodes if they are directly co-occurring within the sentence. We test different centrality measures for ranking nodes - keyword candidates. The promising results are achieved using the selectivity measure. Then we propose an approach which enables extracting word pairs according to the values of the in/out selectivity and weight measures combined with filtering.

研究动机与目标

• 解决从包含多个主题和无关内容的嘈杂多主题网络文档中提取关键词的挑战。
• 探索网络中心性度量（尤其是选择性）在复杂真实网络文本中识别有意义关键词的实用性。
• 开发一种无监督、领域无关的方法，仅需极少预处理（仅需停用词列表），适用于大规模嘈杂数据集。
• 研究选择性是否能有效区分语义丰富的搭配词和专有名称与频繁但功能上无意义的词（如停用词）。

提出的方法

• 从克罗地亚网络文本构建加权有向共现网络，其中词为节点，边表示句子内的直接共现。
• 应用入/出选择性度量：$ e^{in/out}_i = \frac{s^{in/out}_i}{k^{in/out}_i} $，其中 $ s^{in/out}_i $ 为节点 $ i $ 的入/出强度，$ k^{in/out}_i $ 为节点 $ i $ 的入/出度。
• 基于入/出选择性和边权重的综合值对词对进行排序，以识别高潜力的关键词候选。
• 应用两种过滤策略：(1) 停用词过滤，用于从排名靠前的词对中移除功能词；(2) 高权重过滤，仅保留共现频率高的边。
• 仅使用停用词列表作为外部知识——无需进行词形还原或词性标注。
• 在四个克罗地亚网络文档集合（如新闻门户、立法网站）上评估结果，以评估其在多样化主题下的鲁棒性。

实验结果

研究问题

• RQ1 选择性度量是否能有效区分多主题网络文本中语义上有意义的关键词与频繁但功能上无关的词（如停用词）？
• RQ2 基于选择性的排序方法在关键词提取性能上与传统中心性度量（度数、接近度、中介度）相比如何？
• RQ3 在不进行语言学预处理（如词形还原）的情况下，基于网络的方法在从嘈杂多主题克罗地亚网络文档中提取有意义关键词方面能达到何种程度？
• RQ4 过滤策略（停用词过滤和高权重过滤）在多大程度上提升了提取的关键词候选质量？

主要发现

• 选择性度量在关键词提取中优于度数、接近度和中介度中心性，因为这些标准度量将停用词排在前10名关键词中。
• 高入/出选择性值有效识别出语义丰富的术语，如 'narodne novine'（国家报）和 'srpsku nacionalnu'（塞尔维亚国家），这些是立法文本中的关键词。
• 应用停用词过滤显著提升了关键词候选的质量，通过从排名靠前的词对中移除功能词，得到更多开放类、有意义的术语。
• 高权重过滤引入了新的相关关键词候选，如 'republika hrvatska'（克罗地亚共和国）和 'albansku nacionalnu'（阿尔巴尼亚国家），这些在未过滤结果中并不突出。
• 结合入/出选择性和权重过滤产生了最连贯且语境相关的关键词对，包括 'upravni spor'（行政争议）和 'nadzorni odbor'（监督委员会）。
• 该方法在无需词形还原或词性标注的情况下成功提取了有意义的关键词，证明了其在大规模、嘈杂、多主题数据集中的鲁棒性。