[论文解读] Words or Characters? Fine-grained Gating for Reading Comprehension

Zhilin Yang, Bhuwan Dhingra+4 more|arXiv (Cornell University)|Nov 6, 2016

Topic Modeling参考文献 18被引用 44

一句话总结

本文提出了一种细粒度门控机制，通过利用词性标注和文档频率等标记级特征，动态融合神经网络中的词级与字符级表征，用于阅读理解任务。该方法在 Children’s Book Test 和 Who Did What 数据集上无需集成即达到最先进性能，并在 SQuAD 和社交媒体标签预测等多个自然语言处理任务中提升表现。

ABSTRACT

Previous work combines word-level and character-level representations using concatenation or scalar weighting, which is suboptimal for high-level tasks like reading comprehension. We present a fine-grained gating mechanism to dynamically combine word-level and character-level representations based on properties of the words. We also extend the idea of fine-grained gating to modeling the interaction between questions and paragraphs for reading comprehension. Experiments show that our approach can improve the performance on reading comprehension tasks, achieving new state-of-the-art results on the Children's Book Test dataset. To demonstrate the generality of our gating mechanism, we also show improved results on a social media tag prediction task.

研究动机与目标

• 解决在结合词级与字符级表征时，固定拼接或标量门控方法在自然语言处理任务中的局限性。
• 通过基于标记特性的动态调整词与字符表征融合方式，提升阅读理解性能。
• 将细粒度门控机制扩展至在标记级别建模问题与段落之间的交互。
• 证明该门控机制在多种自然语言处理任务中的通用性，包括低资源和未登录词场景。
• 在无需集成的情况下，于基准阅读理解数据集上实现最先进性能。

提出的方法

• 通过词标记特征（如词性标注、命名实体状态、文档频率）的线性投影，再经 Sigmoid 激活函数，计算向量门。
• 门控机制对词级与字符级表征执行逐元素乘法操作，实现对特征流动的逐维控制。
• 用于门控的标记特征包括命名实体标签、词性标注、文档频率以及词级表征。
• 通过在问题与段落表征之间于标记级别应用细粒度门控，将方法扩展至文档-查询交互建模。
• 字符级表征通过字符序列上的 GRU 学习得到，而词级嵌入为可学习参数，并在训练过程中更新。
• 模型采用交叉熵损失端到端训练，超参数在验证集上进行调优。

实验结果

研究问题

• RQ1 与拼接或标量门控相比，细粒度的逐维门控机制是否能提升词级与字符级表征的融合效果？
• RQ2 利用标记级属性（如词性、命名实体）是否能更有效地实现对罕见词或形态复杂的词的表征学习？
• RQ3 在文档-查询交互中应用细粒度门控，是否能超越标准注意力机制，进一步提升阅读理解性能？
• RQ4 所提出的门控机制是否能泛化至阅读理解之外的其他自然语言处理任务，如社交媒体标签预测？
• RQ5 该方法是否能在无需集成的情况下，于基准阅读理解数据集上实现最先进性能？

主要发现

• 细粒度门控机制在 Children’s Book Test 数据集上达到新的最先进性能，无需集成即比之前方法提升最高达 1.76%。
• 在 Who Did What 数据集上，该模型实现最先进结果，显著优于强基线模型。
• 在 SQuAD 数据集上，该方法在已发表论文中达到最先进性能，精确匹配得分 0.716，F1 得分为 0.804，尽管未显式建模答案跨度结构。
• 可视化结果表明，罕见词、命名实体和名词短语更依赖字符级表征，而高频功能词则更依赖词级表征。
• 该方法在性能上显著优于拼接和标量门控，证明了逐维控制的优越性。
• 该方法具有良好的泛化能力，在社交媒体标签预测任务中也提升性能，证实其广泛适用性。