[论文解读] Siamese Neural Networks with Random Forest for detecting duplicate question pairs

Ameya Godbole, Aman Dalmia+1 more|arXiv (Cornell University)|Jan 22, 2018

Topic Modeling参考文献 7被引用 9

一句话总结

该论文提出了一种结合手工特征与随机森林分类器的孪生双向GRU模型，用于检测重复问题对。通过利用GloVe词嵌入、双向GRU编码以及集成学习，该方法在Quora问题对Kaggle竞赛中实现了0.24365的交叉熵损失，位列前24%。

ABSTRACT

Determining whether two given questions are semantically similar is a fairly challenging task given the different structures and forms that the questions can take. In this paper, we use Gated Recurrent Units(GRU) in combination with other highly used machine learning algorithms like Random Forest, Adaboost and SVM for the similarity prediction task on a dataset released by Quora, consisting of about 400k labeled question pairs. We got the best result by using the Siamese adaptation of a Bidirectional GRU with a Random Forest classifier, which landed us among the top 24% in the competition Quora Question Pairs hosted on Kaggle.

研究动机与目标

• 通过结合深度学习与传统机器学习分类器，提升问题对之间的语义相似度检测能力。
• 解决在结构和词汇差异下检测语义相似问题的挑战。
• 通过捕捉上下文和语义表征，超越基于词的相似度度量方法，提升性能。
• 探索集成方法在结合神经网络输出与手工特征方面的有效性。
• 通过混合深度学习与表格型机器学习方法，在Quora问题对数据集上实现最先进性能。

提出的方法

• 孪生架构使用双向GRU处理问题对中的每个问题，共享权重以学习上下文相关的句子表征。
• 词嵌入使用50维预训练的GloVe向量初始化，以捕捉语义含义。
• 通过将GRU隐藏状态与词级特征拼接，并经过带有Dropout的前馈网络，形成最终的句子级表征。
• 提取了三个额外的手工特征：词重叠、TF-IDF加权词重叠以及共享重复计数。
• 将孪生GRU的输出与三个特征作为输入送入二级分类器，其中随机森林表现最佳。
• 模型训练使用Adam优化器和二元交叉熵损失，超参数在开发集上进行调优。

实验结果

研究问题

• RQ1 孪生双向GRU模型是否能有效学习结构和长度各异的问题对之间的语义相似度？
• RQ2 将神经网络嵌入与手工特征结合，能否提升重复检测的性能？
• RQ3 在最终预测中，哪种二级分类器——随机森林、SVM或AdaBoost——最能有效利用相似度分数与辅助特征？
• RQ4 在重复问题检测的背景下，数据增强在多大程度上能提升泛化能力？
• RQ5 将GRU相似度分数与多个特征进行集成，是否能比仅使用神经网络模型获得更好的性能？

主要发现

• 孪生双向GRU结合随机森林分类器实现了最低的交叉熵损失0.24365，优于SVM和AdaBoost。
• 使用最大深度正则化的随机森林分类器表现最佳，表明其在组合特征集上对过拟合具有较强的鲁棒性。
• 数据增强使训练样本增加三倍，将正负样本比例平衡至1:1，从而提升了模型的泛化能力。
• 共享重复计数特征作为重复的强指示信号，显著提升了模型的置信度。
• 该模型在Quora问题对竞赛中位列前24%，证明了集成方法的有效性。
• 在最终全连接层中使用Dropout正则化时，与随机森林结合反而导致性能下降，表明存在过拟合或与集成方法的交互不理想。