[论文解读] Word Embedding based Correlation Model for Question/Answer Matching

Yikang Shen, Wenge Rong+4 more|arXiv (Cornell University)|Nov 15, 2015

Expert finding and Q&A systems被引用 13

一句话总结

该论文提出了一种基于词嵌入的相关性（WEC）模型，通过结合翻译建模与密集词嵌入，提升社区问答（CQA）系统中的问题-答案匹配性能。通过从问答对中学习一个低维、密集的翻译矩阵，WEC 捕获了词级别的共现概率，并利用连续向量空间的平滑性，实现对罕见词对的泛化，优于 Yahoo! Answers 和 Baidu Zhidao 数据集上的最先进模型。

ABSTRACT

With the development of community based question answering (Q&A) services, a large scale of Q&A archives have been accumulated and are an important information and knowledge resource on the web. Question and answer matching has been attached much importance to for its ability to reuse knowledge stored in these systems: it can be useful in enhancing user experience with recurrent questions. In this paper, we try to improve the matching accuracy by overcoming the lexical gap between question and answer pairs. A Word Embedding based Correlation (WEC) model is proposed by integrating advantages of both the translation model and word embedding, given a random pair of words, WEC can score their co-occurrence probability in Q&A pairs and it can also leverage the continuity and smoothness of continuous space word representation to deal with new pairs of words that are rare in the training parallel text. An experimental study on Yahoo! Answers dataset and Baidu Zhidao dataset shows this new method's promising potential.

研究动机与目标

• 为解决问题-答案匹配中的词汇鸿沟问题，即问题和答案使用不同但语义相关的词汇。
• 克服传统翻译模型的局限性，如维度灾难问题以及对罕见词汇的泛化能力差。
• 利用词嵌入的连续性和平滑性，提升对问答匹配中未见或罕见词对的泛化能力。
• 开发一种混合模型，整合统计翻译模型与语义词嵌入的优势，以提升匹配性能。
• 在真实世界的 CQA 数据集上评估模型，并证明其优于现有最先进方法。

提出的方法

• 提出一种词级别的相关性函数 C(q_i, a_j)，通过学习到的密集翻译矩阵 M 计算问题词 q_i 与答案词 a_j 的共现概率。
• 使用预训练的词嵌入将词汇表示在连续向量空间中，实现对罕见或未见词对的平滑泛化。
• 构建一种句子级别的相关性函数 C(q, a)，通过聚合词级别相关性来估计整体 Q&A 相关性。
• 通过可微目标函数在平行问答语料上最大化匹配准确率，学习翻译矩阵 M。
• 将 WEC 模型与卷积神经网络（CNN）结合，以捕捉词汇和句法特征，提升匹配性能。
• 在相关性函数中使用余弦相似度作为非线性激活，以建模词向量之间的语义关系。

实验结果

研究问题

• RQ1 一个低维、密集的翻译矩阵能否有效建模问答对中的词级别共现概率，从而替代稀疏离散翻译模型？
• RQ2 词嵌入的连续性在多大程度上能提升问答匹配中对罕见或未见词对的泛化能力？
• RQ3 将词级别相关性与句子级别聚合相结合，是否能提升匹配性能，相比独立模型更具优势？
• RQ4 WEC 模型在真实世界 CQA 数据集（如 Yahoo! Answers 和 Baidu Zhidao）上的表现如何，相较于最先进方法？
• RQ5 将 CNN 与 WEC 集成后，是否能通过捕捉句法和局部词汇模式进一步提升匹配准确率？

主要发现

• WEC 模型在 Yahoo! Answers 和 Baidu Zhidao 数据集上的问题-答案匹配任务中，优于现有最先进模型。
• WEC+CNN 变体通过联合利用语义相关性和文本中的句法特征，实现了更优的性能。
• 由于连续词表示的平滑性，该模型对罕见词对表现出强大的泛化能力。
• 学习到的翻译矩阵 M 即使在训练数据中精确共现稀少的情况下，也能有效捕捉词之间的语义关系。
• 词嵌入与翻译建模的结合，相比仅使用传统统计翻译模型，能实现更鲁棒、更精确的相关性估计。
• 该方法可迁移至其他平行文本检测任务，如社交媒体内容的评论选择。