[论文解读] Towards building a knowledge base of monetary transactions from a news collection

Jan R. Benetka, Krisztian Balog+1 more|arXiv (Cornell University)|Jun 19, 2017

Topic Modeling参考文献 28被引用 5

一句话总结

本文提出了一种监督学习方法，从新闻文章中提取并整合货币交易事件，形成统一的五元组表示（实体、动作、金额、货币、时间），通过联合建模事件属性提升准确性。通过聚合同一事件的所有报告，基于置信度分数进行排序，并使用专门构建的测试集，该方法相比依赖单一报告的基线方法实现了25%的F1分数提升。

ABSTRACT

We address the problem of extracting structured representations of economic events from a large corpus of news articles, using a combination of natural language processing and machine learning techniques. The developed techniques allow for semi-automatic population of a financial knowledge base, which, in turn, may be used to support a range of data mining and exploration tasks. The key challenge we face in this domain is that the same event is often reported multiple times, with varying correctness of details. We address this challenge by first collecting all information pertinent to a given event from the entire corpus, then considering all possible representations of the event, and finally, using a supervised learning method, to rank these representations by the associated confidence scores. A main innovative element of our approach is that it jointly extracts and stores all attributes of the event as a single representation (quintuple). Using a purpose-built test set we demonstrate that our supervised learning approach can achieve 25% improvement in F1-score over baseline methods that consider the earliest, the latest or the most frequent reporting of the event.

研究动机与目标

• 解决新闻文章中经济事件报告不一致和冗余的问题。
• 开发一种半自动方法，将结构化且准确的事件表示填充至金融知识库。
• 通过将所有属性（实体、动作、金额、货币、时间）联合建模为单一五元组表示，提升事件抽取的准确性。
• 通过聚合多个报告并使用置信度分数进行排序，减少事件数据中的噪声和不一致性。
• 在专门构建的测试集上评估该方法，以证明其相对于传统单报告基线方法的性能提升。

提出的方法

• 从大规模新闻语料库中收集特定经济事件的所有报告，形成候选表示的综合集合。
• 将每个事件表示为五元组：(实体, 动作, 金额, 货币, 时间)，在单一结构化单元中捕获所有关键属性。
• 应用监督学习模型，基于从语言和上下文特征中提取的置信度分数，对候选事件表示进行排序。
• 使用集成策略——如最早报告、最晚报告或最频繁报告——作为基线进行比较。
• 在专门构建的测试集上训练并评估模型，以衡量相对于基线方法的F1分数提升。
• 利用自然语言处理和机器学习技术，识别并归一化多样化语言表达中的事件属性。

实验结果

研究问题

• RQ1 将所有事件属性联合建模为单一五元组表示，能否提升从新闻中抽取货币交易事件的准确性？
• RQ2 聚合同一事件的多个报告，对提取的事件表示可靠性有何影响？
• RQ3 监督学习模型在多大程度上能提升F1分数，相较于仅选择最早、最晚或最频繁报告的基线策略？
• RQ4 置信度评分对从多个报告中选择最准确事件表示的影响如何？
• RQ5 所提出的方法在减少金融知识库填充过程中的不一致性和错误方面有多有效？

主要发现

• 所提方法相比依赖选择事件最早、最晚或最频繁报告的基线方法，实现了25%的F1分数提升。
• 将所有事件属性联合建模为单一五元组表示，相比孤立地抽取各属性，能实现更一致且更准确的抽取效果。
• 聚合同一事件的多个报告并按置信度排序，显著减少了最终知识库条目中的噪声和不一致性。
• 监督学习模型有效捕捉了事件报告中的语言变异性，提升了在多样化新闻文本中的鲁棒性。
• 该方法在专门构建的测试集上表现出色，验证了其在真实新闻语料库场景下的有效性。
• 结果表明，基于置信度的多报告表示排序优于单报告选择策略，在金融事件抽取中表现更优。