[论文解读] Multilingual Language Processing From Bytes

Dan Gillick, Cliff Brunk+2 more|arXiv (Cornell University)|Dec 1, 2015

Natural Language Processing Techniques参考文献 30被引用 27

一句话总结

本文提出Byte-to-Span（BTS），一种基于LSTM的多语言模型，将原始文本作为Unicode字节处理，并直接预测跨度标注 [start, length, label]，无需依赖分词或语言特定的预处理。该模型在13种语言的词性标注（POS）和命名实体识别（NER）任务中均达到或超过当前最先进（SOTA）性能，仅使用单一紧凑架构，证明了从字节端到端学习可生成鲁棒、与语言无关的表征，且无需外部数据或流水线组件。

ABSTRACT

We describe an LSTM-based model which we call Byte-to-Span (BTS) that reads text as bytes and outputs span annotations of the form [start, length, label] where start positions, lengths, and labels are separate entries in our vocabulary. Because we operate directly on unicode bytes rather than language-specific words or characters, we can analyze text in many languages with a single model. Due to the small vocabulary size, these multilingual models are very compact, but produce results similar to or better than the state-of- the-art in Part-of-Speech tagging and Named Entity Recognition that use only the provided training datasets (no external data sources). Our models are learning "from scratch" in that they do not rely on any elements of the standard pipeline in Natural Language Processing (including tokenization), and thus can run in standalone fashion on raw text.

研究动机与目标

• 开发一种直接在原始文本上运行、无需语言特定预处理或分词的多语言自然语言处理模型。
• 探究从字节学习是否能产生紧凑且可泛化的多语言表征。
• 评估一种将序列映射到序列的LSTM框架在预测跨度标注（作为独立的start、length和label输出）方面的有效性。
• 评估在低资源或多语言设置中，使用dropout和堆叠LSTM的字节级建模是否能提升泛化能力和性能。
• 通过分析不同语言间隐藏状态的聚类情况，判断模型是否学习到与语言无关的表征。

提出的方法

• 模型使用可变长度UTF-8编码，逐字节处理输入文本，以最小化词汇量。
• 采用序列到序列的LSTM架构，通过独立的预测头生成跨度标注，输出序列为三个分量：起始位置、长度和标签。
• 提出一种新颖技术——字节dropout（byte-dropout），在训练过程中随机将输入字节替换为DROP标记，以提升泛化能力。
• 所有语言共享一个嵌入层，模型在多语言数据集上端到端训练，无需语言特定组件。
• 跨度预测通过自回归方式生成，将前一时刻的隐藏状态作为下一时刻的输入，实现上下文感知的输出生成。
• 输出通过在所有可能的起始位置、长度和标签上进行softmax计算生成，使用STOP标记终止生成过程。

实验结果

研究问题

• RQ1 一个在原始字节上训练的单一神经网络模型，是否能在无需语言特定预处理的情况下，在多种语言的词性标注和命名实体识别任务中达到有竞争力的性能？
• RQ2 从字节学习是否能促使模型发现与语言无关的表征，使其泛化能力优于单语言模型？
• RQ3 与标准dropout相比，字节dropout在提升多语言自然语言处理任务中模型泛化能力方面表现如何？
• RQ4 堆叠的LSTM在在多大程度上学习到分层的、与语言无关的特征，而非语言特定的模式？
• RQ5 模型的输出机制——将跨度作为独立的起始位置、长度和标签分量进行预测——是否在模型紧凑性和性能方面优于标准的BIO标注方案？

主要发现

• 多语言BTS模型在13种语言上的词性标注任务中实现了95.85%的宏平均准确率，优于原始模型和引入dropout的基线模型。
• 在命名实体识别任务中，模型在4种语言上达到82.13%的宏平均F1分数，显著优于基线模型，展现出强大的泛化能力。
• 与原始模型相比，使用字节dropout使NER的F1分数提升了4.6个百分点，表明其具有显著的正则化优势。
• 堆叠四个LSTM层时性能最佳，当隐藏单元数超过640后性能不再提升，表明深度比宽度更为关键。
• 隐藏状态的t-SNE可视化显示，标签表征在不同语言中独立聚类，支持了与语言无关的语义特征的存在。
• 多语言模型在相同参数量下优于单语言模型，表明跨语言共享学习可提升性能。