[论文解读] Subword-augmented Embedding for Cloze Reading Comprehension

Zhuosheng Zhang, Yafang Huang+1 more|arXiv (Cornell University)|Jun 24, 2018

Topic Modeling参考文献 40被引用 22

一句话总结

本文提出子词增强词嵌入（SAW），通过将字符级表示替换为子词级表示，并采用简单操作整合子词与词嵌入，以提升罕见词和未登录词（OOV）的处理能力，从而增强完形填空式阅读理解性能。SAW Reader 在多个中文和英文基准测试中达到最先进水平，通过高效且全面的词与子词表示融合机制实现优异表现。

ABSTRACT

Representation learning is the foundation of machine reading comprehension. In state-of-the-art models, deep learning methods broadly use word and character level representations. However, character is not naturally the minimal linguistic unit. In addition, with a simple concatenation of character and word embedding, previous models actually give suboptimal solution. In this paper, we propose to use subword rather than character for word embedding enhancement. We also empirically explore different augmentation strategies on subword-augmented embedding to enhance the cloze-style reading comprehension model reader. In detail, we present a reader that uses subword-level representation to augment word embedding with a short list to handle rare words effectively. A thorough examination is conducted to evaluate the comprehensive performance and generalization ability of the proposed reader. Experimental results show that the proposed approach helps the reader significantly outperform the state-of-the-art baselines on various public datasets.

研究动机与目标

• 解决字符级与词级嵌入在完形填空式阅读理解中对罕见词和未登录词（OOV）表示能力不足的问题。
• 探索子词单元作为比字符更具语义意义的语言单位，以增强词表示。
• 设计一种简单而有效的方法，无需复杂架构或人工特征，实现子词与词嵌入的融合。
• 通过稀有词的短列表机制提升模型泛化能力与效率。
• 在多语言基准数据集（包括中文和英文完形填空数据集）上评估该方法。

提出的方法

• 使用通过字节对编码（BPE）或类似方法生成的子词单元替代字符，以更有效地捕捉形态与语义信息。
• 通过简单拼接或逐元素运算，联合学习词级与子词级嵌入，实现联合表征学习。
• 引入子词单元的短列表机制，以处理稀有词与未登录词，降低模型规模并加速训练。
• 采用标准注意力机制阅读模型（如GA Reader），并结合SAW嵌入以提升答案预测性能。
• 采用标准优化方法进行端到端训练，子词表示在训练过程中自动学习。
• 使用基于BPE的子词分词方法，通过将未知词动态分解为有意义的子单元，实现对未知词的动态处理。

实验结果

研究问题

• RQ1 子词级表示是否能在完形填空式阅读理解中优于字符级表示，以增强词嵌入？
• RQ2 子词增强嵌入在低资源或形态丰富的语言（如中文）中，对罕见词与未登录词（OOV）的性能提升效果如何？
• RQ3 在神经阅读理解模型中，词级与子词级表示的最优融合策略是什么？
• RQ4 与字符增强基线相比，所提方法在模型效率（如训练速度、模型大小）方面是否保持或提升？
• RQ5 短列表机制在多语言设置下，能在多大程度上减少未登录词数量并提升泛化能力？

主要发现

• SAW Reader 在多个公开中文阅读理解数据集（包括未登录率较高的数据集）上显著优于最先进基线模型。
• 与GA Reader基线相比，该模型将未登录词相关错误减少了近1/5，表明对罕见词与命名实体答案的处理能力显著提升。
• 子词增强嵌入在中文与英文基准上均带来一致的性能增益，证实其在多语言场景下的有效性。
• 短列表机制在保持高性能的同时，减小了模型规模并加速了训练，尤其在处理稀有词方面表现优异。
• 采用简单拼接或逐元素运算融合词嵌入与子词嵌入，效果优于复杂门控机制，且计算成本更低。
• 消融实验证实，子词级表示在捕捉有意义的形态与语义模式方面，优于字符级表示。