[论文解读] Query Expansion for Cross-Language Question Re-Ranking

Muhammad Mahbubur Rahman, Sorami Hisamoto+1 more|arXiv (Cornell University)|Apr 16, 2019

Expert finding and Q&A systems参考文献 25被引用 4

一句话总结

本文提出了一种使用词嵌入（Word Embeddings）、DBpedia概念链接和上下位关系（hypernymy）的查询扩展（QE）技术，以提升社区问答平台中的跨语言问题重排序性能。通过利用外部知识源扩展机器翻译后的查询，引入语义相关的术语，该方法显著优于基线系统和当前最先进（SOTA）系统，在多语言查询上的平均平均精度（MAP）较基线提升了10.72点，并在先前SOTA基础上进一步提升了1.62 MAP点。

ABSTRACT

Community question-answering (CQA) platforms have become very popular forums for asking and answering questions daily. While these forums are rich repositories of community knowledge, they present challenges for finding relevant answers and similar questions, due to the open-ended nature of informal discussions. Further, if the platform allows questions and answers in multiple languages, we are faced with the additional challenge of matching cross-lingual information. In this work, we focus on the cross-language question re-ranking shared task, which aims to find existing questions that may be written in different languages. Our contribution is an exploration of query expansion techniques for this problem. We investigate expansions based on Word Embeddings, DBpedia concepts linking, and Hypernym, and show that they outperform existing state-of-the-art methods.

研究动机与目标

• 为解决在社区问答（CQA）平台中因翻译错误导致检索性能下降的跨语言问题匹配挑战。
• 探究查询扩展（QE）技术是否能够恢复机器翻译过程中丢失的语义信号。
• 评估多种知识源——词嵌入、DBpedia概念和上下位关系——在提升跨语言问题重排序性能方面的有效性。
• 开发并基准测试一种查询扩展框架，以在多语言环境下超越现有基线和最先进方法的检索性能。

提出的方法

• 该方法采用查询翻译流水线：首先通过机器翻译将用户的原始问题翻译成英文，然后利用外部知识源扩展翻译后的查询。
• 查询扩展通过使用词嵌入（如Word2Vec）检索语义相似的词、将查询链接至DBpedia概念，以及从WordNet中识别上下位词来实现。
• 扩展后的查询由来自三种扩展源的所有术语与原始查询术语的并集构成。
• 系统使用扩展后的查询在ElasticSearch索引中检索候选问题，并基于相关性对结果进行排序。
• 评估了多种配置：单一QE方法、两种或多种方法的组合，以及所有系统的集成。
• 性能通过在SemEval-2016 CLIR扩展数据集上的平均平均精度（MAP）进行评估，比较单语和多语言设置下的表现。

实验结果

研究问题

• RQ1 与基线方法相比，使用词嵌入、DBpedia和上下位关系的查询扩展是否能提升跨语言问题重排序性能？
• RQ2 结合多种查询扩展技术是否优于单独使用任一方法？
• RQ3 在多语言设置下，所提出的QE技术对翻译错误的鲁棒性如何？
• RQ4 在跨语言检索中，基于知识的扩展在多大程度上优于基于词汇或分布统计的方法？

主要发现

• 性能最佳的系统通过聚合所有查询扩展方法与基线，使机器翻译（MT）查询的MAP较基线提升了10.72点。
• 在MT测试集上，该系统比先前的SOTA方法高出1.62 MAP点，表明其对翻译错误具有强大的泛化能力。
• 单独使用任一QE技术（词嵌入、DBpedia、上下位词）均表现低于基线，表明单一来源的扩展不足以提升性能。
• 将基线与任一扩展方法结合均带来正向改进，其中基于词嵌入的扩展在MT设置下贡献最大增益（+8.00 MAP）。
• 在英文查询上，最佳系统使基线提升+10.57 MAP；在MT查询上提升+10.72 MAP，表明在单语和跨语言设置下均具有一致的有效性。
• 尽管MT查询的基线性能较低（-3.86 MAP对比英文），所提出的QE框架能有效缓解翻译相关的性能下降，最佳MT系统仍比先前SOTA高出1.62 MAP。