[论文解读] Using Multi-Label Classification for Improved Question Answering

Ricardo Usbeck, Michael M. Hoffmann+3 more|arXiv (Cornell University)|Oct 24, 2017

Topic Modeling参考文献 25被引用 3

一句话总结

本文提出了一种基于多标签分类的元系统，通过使用14个新型问题特征，从六个现有的基于RDF的问答（QA）引擎中选择最佳的问答系统。通过在100个QALD-6问题上训练PSt分类器，该元系统在F1值上相比表现最好的单一系统提升了14.1%（达到0.78），表明尽管训练数据有限，通过特征工程的元学习仍能有效结合多种QA方法以实现更优性能。

ABSTRACT

A plethora of diverse approaches for question answering over RDF data have been developed in recent years. While the accuracy of these systems has increased significantly over time, most systems still focus on particular types of questions or particular challenges in question answering. What is a curse for single systems is a blessing for the combination of these systems. We show in this paper how machine learning techniques can be applied to create a more accurate question answering metasystem by reusing existing systems. In particular, we develop a multi-label classification-based metasystem for question answering over 6 existing systems using an innovative set of 14 question features. The metasystem outperforms the best single system by 14% F-measure on the recent QALD-6 benchmark. Furthermore, we analyzed the influence and correlation of the underlying features on the metasystem quality.

研究动机与目标

• 为解决在多个针对RDF数据的专用问答系统中选择最准确系统的挑战。
• 通过元学习方法结合现有问答系统的输出，提升整体问答性能。
• 研究在多标签分类框架中，哪些问题特征对系统选择准确率影响最大。
• 评估元系统在不同训练与测试数据配置下的鲁棒性与泛化能力。
• 识别当前问答系统在复杂问题（尤其是需要解决方案修饰符的问题）上的局限性。

提出的方法

• 该元系统采用多标签分类框架，预测六个现有QA系统中哪一个最有可能正确回答给定问题。
• 提取14个问题特征，包括问题词（QW）、词元数量（#T）、位置（Loc）、查询资源类型（QRT）和人物（Pers），以表征输入问题。
• 基于F1得分评估，采用留一法和完整训练设置，选择PSt分类器作为性能最佳的模型。
• 通过在不同特征组合上训练PSt分类器，分析特征重要性，以识别性能最优的特征子集。
• 系统在QALD-6基准上进行训练与测试，主设置中使用100个问题作为训练和评估数据。
• 使用F1值进行性能评估，并与单个QA系统及理想化的最优选择基线进行比较。

实验结果

研究问题

• RQ1 能否通过从多个现有QA系统中选择的元系统，在RDF问答任务上超越表现最好的单一系统？
• RQ2 哪组问题特征最有效地预测给定问题的最佳QA系统？
• RQ3 元系统在留一法与完整训练设置下的性能表现有何差异？这说明了什么关于过拟合的问题？
• RQ4 特征组合在多大程度上提升了或降低了元系统的F1值？在训练数据有限的情况下是否存在过拟合风险？
• RQ5 当前QA系统存在的持续性弱点是什么？这些弱点如何影响元系统泛化能力？

主要发现

• 元系统实现了0.78的F1值，相比表现最好的单一QA系统（F1 = 0.68）提升了14.1%，在QALD-6基准上表现更优。
• PSt分类器的最佳特征集包括#T（词元数量）、Loc（位置）、QW（问题词）和QRT（查询资源类型），实现了0.78的F1值。
• 添加全部14个特征后性能下降至0.76的F1值，表明额外特征引入了噪声而非有效信号。
• 留一法设置下的性能较低（F1 ≈ 0.63–0.69），低于完整训练设置（F1 = 0.76），表明小规模设置下可能存在过拟合。
• 元系统仍未能达到理想选择基线（F1 = 0.89），凸显了训练数据有限（仅100个问题）的影响。
• 需要解决方案修饰符的问题（如9、88、17、28、33、36、49）对所有系统（包括元系统）仍具显著挑战性。