[论文解读] Text segmentation with character-level text embeddings

Grzegorz Chrupała|arXiv (Cornell University)|Sep 18, 2013

Natural Language Processing Techniques被引用 22

一句话总结

本文提出使用一种简单的循环网络（SRN）学习字符级文本嵌入，通过在原始文本序列上训练模型以预测下一个字符。所学习的隐藏层表征在字符级文本分割和代码块标注任务中显著提升了性能，优于基线n-gram特征，并达到训练数据量四倍时的性能水平。

ABSTRACT

Learning word representations has recently seen much success in computational linguistics. However, assuming sequences of word tokens as input to linguistic analysis is often unjustified. For many languages word segmentation is a non-trivial task and naturally occurring text is sometimes a mixture of natural language strings and other character data. We propose to learn text representations directly from raw character sequences by training a Simple recurrent Network to predict the next character in text. The network uses its hidden layer to evolve abstract representations of the character sequences it sees. To demonstrate the usefulness of the learned text embeddings, we use them as features in a supervised character level text segmentation and labeling task: recognizing spans of text containing programming language code. By using the embeddings as features we are able to substantially improve over a baseline which uses only surface character n-grams.

研究动机与目标

• 为解决在论坛帖子等混合语言或含代码的文本中，基于词的表征方法存在的局限性。
• 开发一种直接从原始字符序列学习通用文本表征的方法，无需依赖预定义的分词处理。
• 评估通过SRN学习的字符级嵌入是否能在监督式字符级序列标注任务中提升性能。
• 探究此类嵌入在包括自然语言和编程代码在内的多种文本类型之间是否具有良好的泛化能力。

提出的方法

• 在大规模未标注文本上训练简单循环网络（SRN），以预测序列中的下一个字符。
• 将训练好的SRN的隐藏层激活值作为下游任务的密集分布式文本嵌入。
• 将每个字符序列表示为SRN在处理完序列后最终隐藏状态导出的固定长度向量。
• 将这些学习到的嵌入作为附加特征，用于条件随机场（CRF）模型进行序列标注。
• 结合字符n-gram特征与SRN生成的嵌入，训练CRF模型以检测混合文本帖子中的代码块。
• 在包含标注代码段的真实世界论坛帖子数据集上评估模型性能。

实验结果

研究问题

• RQ1 通过SRN学习的字符级文本嵌入是否能提升监督式文本分割任务的性能？
• RQ2 SRN生成的嵌入在检测混合语言文本中的代码块时，与传统字符n-gram特征相比表现如何？
• RQ3 用于预训练SRN的未标注训练数据规模是否显著影响下游任务性能？
• RQ4 SRN嵌入是否能在无需显式分词的情况下，跨不同文本类型（如自然语言和编程代码）实现良好泛化？

主要发现

• 在CRF模型中加入SRN生成的字符级嵌入后，最终测试集的F1分数从基线的86.45%提升至90.95%。
• SRN特征带来的性能提升等效于将基线模型的标注训练数据量增加四倍。
• 即使在仅使用全部数据10%的少量未标注数据上训练的SRN模型，其性能已与大规模模型相当，表明性能增益主要源于特征的表达能力，而非数据规模。
• 在更大数据集（100%数据）上训练的模型仅带来F1分数的微小提升（90.95% vs. 90.75%）以及困惑度的轻微降低（4.11 vs. 4.24），表明由于概念漂移的存在，更多数据带来的增益有限。
• 即使在较小数据集上生成的嵌入也表现良好，表明高质量表征可高效学习，而无需庞大的计算资源。