[论文解读] Watsonsim: Overview of a Question Answering Engine

Sean Gallagher, Wlodek Zadrozny+2 more|arXiv (Cornell University)|Dec 2, 2014

Topic Modeling被引用 6

一句话总结

Watonsim 是一个由大学团队开发的开源问答系统，用于回答类似《危险边缘》（Jeopardy）风格的问题。该系统采用基于搜索引擎（Lucene、Indri、Bing、Google）、自然语言处理工具（OpenNLP、UIMA）和机器学习（Weka）的流水线架构。在资源和时间有限的条件下，尽管面临数据清洗、段落打分和系统可扩展性等关键挑战，该系统在《危险边缘》问题上实现了18%的准确率。

ABSTRACT

The objective of the project is to design and run a system similar to Watson, designed to answer Jeopardy questions. In the course of a semester, we developed an open source question answering system using the Indri, Lucene, Bing and Google search engines, Apache UIMA, Open- and CoreNLP, and Weka among additional modules. By the end of the semester, we achieved 18% accuracy on Jeopardy questions, and work has not stopped since then.

研究动机与目标

• 设计并实现一个功能完整的问答系统，能够在一学期内处理《危险边缘》风格的趣味问答题。
• 将多种数据源（包括 Wikipedia、Wikiquotes 和莎士比亚作品）整合到统一的检索流水线中。
• 在真实问答环境中评估并比较多种搜索引擎（Lucene、Indri、Bing、Google）和打分模型的性能。
• 探索使用开源工具和现有 NLP 框架构建可扩展、模块化问答系统的可行性。
• 识别当前方法的局限性，如段落检索性能不佳和 NLP 解析效率低下，并提出改进建议。

提出的方法

• 系统采用多阶段流水线架构，包含专门用于问题分类、查询生成和答案打分的模块。
• 事实类问题通过加权查询处理，优先考虑内容而非标题，利用 Lucene、Indri 和 Bing 进行初始检索。
• 填空类问题通过移除下划线并从标题中提取候选答案，随后进行段落打分。
• 支持性段落通过结合词汇、句法和语义特征进行打分，包括 n-gram 相似度和词频。
• 系统采用混合检索策略，整合多个搜索引擎的结果，并合并重复项以减少冗余。
• 打分模型包括平均倒数排名（MRR）和二值召回率，仅针对至少有一个正确答案的问题进行计算。

实验结果

研究问题

• RQ1 小型学术团队能否仅使用公开可用的工具和数据源，构建一个功能完整的开源问答系统？
• RQ2 传统搜索引擎（Lucene、Indri、Bing、Google）在检索《危险边缘》风格问题相关答案方面的有效性如何？
• RQ3 数据预处理选择（如索引 Wikipedia 重定向）对答案准确率和排序质量有何影响？
• RQ4 与仅使用词汇匹配相比，基于 NLP 的打分器和语义模型在答案选择上的提升程度如何？
• RQ5 系统架构（如 UIMA 与自定义流水线）在可扩展性、可维护性和性能方面有何影响？

主要发现

• 该系统在《危险边缘》问题上实现了18%的准确率，证明了在仅使用开源工具的一学期内构建功能问答系统的可行性。
• 索引 Wikipedia 重定向将二值召回率从22%提高到28%，但将平均倒数排名从0.6469降至0.3483，导致整体准确率下降6%。
• 使用 Indri 和 Lucene 进行离线查询，二值召回率达到21%，显著优于仅使用 Lucene 的13%。
• 通过 n-gram 相似度和词频进行支持性段落打分，提升了答案排序质量，尽管基于 NLP 的解析过于缓慢，难以实际应用。
• Bing 的每月5,000次查询配额允许进行两次性能测量，而 Google 的每日100次限制使得大规模使用不切实际。
• 由于引入较晚，UIMA 未被深度集成，但其在可扩展性和语言互操作性方面具有潜在优势。