[论文解读] Unsupervised Word Segmentation with Bi-directional Neural Language Model

Lihao Wang, Zongyi Li+1 more|arXiv (Cornell University)|Mar 2, 2021

Natural Language Processing Techniques被引用 8

一句话总结

本文提出一种上下文敏感的无监督分词模型，利用双向神经语言模型，通过最大化所有可能分词方案下的句子生成概率来实现。通过利用从左到右和从右到左的上下文特征，该模型提升了词边界歧义的消解能力，在中文基准测试中达到最先进性能，并在泰语上取得具有竞争力的结果。

ABSTRACT

We present an unsupervised word segmentation model, in which the learning objective is to maximize the generation probability of a sentence given its all possible segmentation. Such generation probability can be factorized into the likelihood of each possible segment given the context in a recursive way. In order to better capture the long- and short-term dependencies, we propose to use bi-directional neural language models to better capture the features of segment's context. Two decoding algorithms are also described to combine the context features from both directions to generate the final segmentation, which helps to reconcile word boundary ambiguities. Experimental results showed that our context-sensitive unsupervised segmentation model achieved state-of-the-art at different evaluation settings on various data sets for Chinese, and the comparable result for Thai.

研究动机与目标

• 解决单向模型在中文和泰语等语言中处理词边界歧义时的局限性。
• 通过开发完全无监督的方法，减少对人工标注语料库的依赖，仅从原始文本中学习。
• 通过双向上下文建模捕捉长短期依赖关系，提升分词准确率。
• 评估模型在多样化领域和语言特征（包括低资源和分布外设置）下的鲁棒性。
• 探究双向上下文特征是否能比单向模型更有效地解决重叠或模糊的词边界问题。

提出的方法

• 模型通过在所有可能分词方案下最大化句子的生成概率，将该概率递归地分解为各分词片段的乘积。
• 使用双向神经语言模型（从左到右和从右到左）为每个候选分词片段编码丰富的上下文特征。
• 提出两种解码策略：(1) 对前向和后向分词概率取平均；(2) 合并独立前向和后向模型的输出结果。
• 通过反向传播端到端训练模型，以优化在所有有效分词假设下生成完整句子的似然概率。
• 双向架构使模型能够利用未来上下文信息来优化左侧边界决策，从而改善重叠或模糊分词的歧义消解。
• 未使用任何外部特征或基于规则的启发式方法，仅依赖原始文本和学习到的上下文表示。

Figure 1: The neural network architecture. In this figure, we want to obtain the probability of possible segment “从小”. Firstly, pick out preceding context representation “我” and preceding context representation “学唱歌” from two context LSTMs. Then we used these representations as the initial hidden st

实验结果

研究问题

• RQ1 双向神经语言模型是否能通过捕捉双向上下文信息，提升无监督分词的性能？
• RQ2 不同的解码策略（平均法 vs. 合并法）在消解词边界歧义方面有何影响？
• RQ3 该上下文敏感的无监督模型在中文分词基准测试中，相较于单向模型（如 SWAN 和 SLM）能多大程度上实现性能超越？
• RQ4 尽管缺乏显式词分隔符，该模型在平均词长更长的语言（如泰语）上是否具备良好的泛化能力？
• RQ5 该模型是否能有效区分功能词与内容词，从而减少现有方法中常见的误切分问题？

主要发现

• 在多个中文分词基准测试（包括 MSRA、ASIJ 和 PKU 数据集）中，该模型在各种评估设置下均达到最先进性能。
• 合并解码策略（合并前向与后向模型输出）的整体 F1 分数高于平均策略，尽管后者在歧义情形下表现出更好的消歧能力。
• 该模型显著优于先前的无监督模型（如 SWAN 和 SLM），尤其在处理重叠词边界和领域分布偏移方面表现突出。
• 在泰语上，尽管平均词长更长且字符类型更少，该模型仍取得了与近期强基线模型相当的结果。
• 双向上下文使模型能更准确地分割功能词，有效减少了其被错误连接到相邻内容词的常见错误。
• 该模型性能接近人类标注一致性的估计上限（F1 ~0.848），表明其与人类分词模式高度一致。

Figure 2: Segmentation error analysis. (a) The errors of different models caused by the combination ambiguity on MSR and PKU datasets. (b) The errors of different models caused by the overlap ambiguity.