[论文解读] Recurrent Neural Network Encoder with Attention for Community Question Answering

Wei-Ning Hsu, Yu Zhang+1 more|arXiv (Cornell University)|Mar 23, 2016

Topic Modeling参考文献 16被引用 10

一句话总结

本文提出一种带有注意力机制的循环神经网络（RNN）编码器用于社区问答（cQA），实现无需语言学特征的端到端学习，以捕捉问题与评论的相关性。通过利用注意力机制聚焦关键词汇，并应用迁移学习，该模型在平均平均精度（MAP）上相比检索基线方法提升了10%，并在SemEval-2016任务中达到与强大特征工程基线相当的性能，证明其在多样化、噪声大及多语言输入场景下的鲁棒性。

ABSTRACT

We apply a general recurrent neural network (RNN) encoder framework to community question answering (cQA) tasks. Our approach does not rely on any linguistic processing, and can be applied to different languages or domains. Further improvements are observed when we extend the RNN encoders with a neural attention mechanism that encourages reasoning over entire sequences. To deal with practical issues such as data sparsity and imbalanced labels, we apply various techniques such as transfer learning and multitask learning. Our experiments on the SemEval-2016 cQA task show 10% improvement on a MAP score compared to an information retrieval-based approach, and achieve comparable performance to a strong handcrafted feature-based method.

研究动机与目标

• 开发一种通用的、端到端的神经框架用于社区问答（cQA），避免依赖人工设计的语言学特征。
• 通过应用迁移学习和多任务学习，缓解cQA中数据稀疏性和标签不平衡问题。
• 通过集成神经注意力机制改进cQA中的序列建模，实现在长输入序列中对相关词汇的动态聚焦。
• 评估模型在不同语言和领域中的泛化能力，包括多语言和低资源场景。
• 证明注意力增强的RNN编码器与传统信息检索（IR）系统具有互补性，通过集成方法可实现性能提升。

提出的方法

• 模型使用双向LSTM编码器，学习问题与评论对的密集上下文表征。
• 在LSTM隐藏状态上应用注意力机制，使模型在分类过程中能动态关注序列中最相关的词汇。
• 将最终的上下文感知表征输入前馈神经网络，进行相关性二分类。
• 通过在更大规模相关语料上预训练RNN，应用迁移学习，以提升在有限cQA数据集上的泛化能力。
• 通过联合训练多个cQA任务（A、B、C），应用多任务学习，以增强模型鲁棒性和数据效率。
• 将元数据（如用户资料、时间戳）作为额外输入，输入前馈神经网络分类器，以提升性能。

实验结果

研究问题

• RQ1 在不依赖语言学特征或外部资源的前提下，通用RNN编码器结合注意力机制是否能在社区问答中超越检索基线方法？
• RQ2 注意力机制如何改进cQA中的序列建模，特别是在长序列或噪声较大的输入序列中？
• RQ3 在低资源cQA场景下，迁移学习和多任务学习在多大程度上能缓解数据稀疏性和标签不平衡问题？
• RQ4 所提出的RNN-注意力框架在不同语言和领域中是否具有鲁棒性和有效性，包括多语言和非正式文本？
• RQ5 神经模型与传统IR系统在多大程度上具有互补性？两者的结合能否在cQA任务中实现更优性能？

主要发现

• 在SemEval-2016 cQA任务A上，RNN-注意力模型相比信息检索基线在平均平均精度（MAP）上实现了10%的相对提升。
• 在任务A中，当训练数据充足时，该模型优于性能强劲的特征丰富基线，MAP达到0.639，高于基线的0.632。
• 在任务B中，尽管训练数据有限，该模型性能与特征丰富系统相当（MAP 0.659 vs. 0.685），并显著优于IR基线。
• 在任务C中，该模型MAP达到0.324，与特征丰富系统（0.339）相当；与IR结合后，MAP提升至0.394，显示出强大的互补性。
• 定性分析表明，注意力机制能有效聚焦于关键语义内容（如地点或动作），同时抑制噪声（如过多标点或填充词）。
• 该模型在长句、短句及噪声句中均表现出鲁棒性，即使在复杂或非正式输入中也能保持聚焦的注意力模式。