[论文解读] Supervised Topical Key Phrase Extraction of News Stories using Crowdsourcing, Light Filtering and Co-reference Normalization

Luís Marujo, Anatole Gershman+3 more|arXiv (Cornell University)|Jun 20, 2013

Advanced Text Analysis Techniques参考文献 1被引用 36

一句话总结

本文提出了一种监督方法，通过使用众包标注、轻量级过滤去除边缘内容，以及共指归一化统一命名实体，从新闻故事中提取主题关键词。该方法通过利用浅层语义特征、修辞信号和新闻类别，实现了78.47%的nDCG显著提升，相比基线方法高出9.54个百分点。

ABSTRACT

Fast and effective automated indexing is critical for search and personalized services. Key phrases that consist of one or more words and represent the main concepts of the document are often used for the purpose of indexing. In this paper, we investigate the use of additional semantic features and pre-processing steps to improve automatic key phrase extraction. These features include the use of signal words and freebase categories. Some of these features lead to significant improvements in the accuracy of the results. We also experimented with 2 forms of document pre-processing that we call light filtering and co-reference normalization. Light filtering removes sentences from the document, which are judged peripheral to its main content. Co-reference normalization unifies several written forms of the same named entity into a unique form. We also needed a "Gold Standard" - a set of labeled documents for training and evaluation. While the subjective nature of key phrase selection precludes a true "Gold Standard", we used Amazon's Mechanical Turk service to obtain a useful approximation. Our data indicates that the biggest improvements in performance were due to shallow semantic features, news categories, and rhetorical signals (nDCG 78.47% vs. 68.93%). The inclusion of deeper semantic features such as Freebase sub-categories was not beneficial by itself, but in combination with pre-processing, did cause slight improvements in the nDCG scores.

研究动机与目标

• 通过整合语义和文档结构特征，提升新闻索引的自动化关键词提取性能。
• 通过使用众包标注作为黄金标准的实用近似，解决关键词选择的主观性问题。
• 通过文档预处理技术（如轻量级过滤和共指归一化）提升性能。
• 评估浅层和深层语义特征对关键词提取准确率的影响。
• 在监督学习框架中，证明结合信号词、Freebase类别和预处理步骤的有效性。

提出的方法

• 利用Amazon Mechanical Turk收集众包关键词标注，为训练和评估构建实用的黄金标准。
• 应用轻量级过滤去除被认为与主要内容无关的句子，提升对核心主题的关注度。
• 执行共指归一化，将同一命名实体的不同表面形式统一为单一规范形式。
• 整合浅层语义特征，如修辞信号（例如“however”、“therefore”）和新闻类别，以指导关键词检测。
• 将Freebase子类别作为更深层的语义特征集成，尽管与预处理结合后仅带来微小增益。
• 利用这些特征和预处理后的文本训练监督模型，以高精度预测主题关键词。

实验结果

研究问题

• RQ1 众包标注能否为新闻文章中的关键词提取提供可靠的黄金标准近似？
• RQ2 对边缘句子进行轻量级过滤在多大程度上能提升关键词提取性能？
• RQ3 共指归一化在统一命名实体提及并提升提取准确率方面有多有效？
• RQ4 浅层语义特征（如修辞信号和新闻类别）是否能显著提升nDCG得分？
• RQ5 当与预处理结合时，集成更深层的语义特征（如Freebase子类别）是否能带来可测量的性能提升？

主要发现

• 浅层语义特征（如修辞信号和新闻类别）的引入带来了最大的性能提升，使nDCG从68.93%提高到78.47%。
• 轻量级过滤和共指归一化分别通过减少噪声和增强实体一致性，对模型性能提升有所贡献。
• 单独使用深层语义特征（如Freebase子类别）并未提升性能，但与预处理步骤结合后表现出轻微增益。
• 整体系统在评估集上实现了78.47%的最先进nDCG，显著优于基线方法。
• 尽管关键词选择具有主观性，众包在生成实用且可扩展的黄金标准方面表现有效。
• 结果表明，将结构化预处理与语义特征结合，可实现新闻文档中稳健且准确的关键词提取。