[论文解读] Sentence Boundary Detection for French with Subword-Level Information Vectors and Convolutional Neural Networks

Carlos-Emiliano González-Gallardo, Juan‐Manuel Torres‐Moreno|arXiv (Cornell University)|Feb 13, 2018

Natural Language Processing Techniques参考文献 13被引用 12

一句话总结

本文提出一种结合子词级别信息（SLI）向量的卷积神经网络（CNN）模型，用于法语文本中的句子边界检测（SBD）。通过将词语表示为字符n-gram嵌入的总和，SLI向量捕捉了词素结构，使CNN能够像处理图像像素一样有效应用于文本序列。最佳模型在大型法语Gigaword数据集上的F1分数达到0.795（‘句子边界’类），‘非句子边界’类超过0.97，整体准确率超过0.96。

ABSTRACT

In this work we tackle the problem of sentence boundary detection applied to French as a binary classification task ("sentence boundary" or "not sentence boundary"). We combine convolutional neural networks with subword-level information vectors, which are word embedding representations learned from Wikipedia that take advantage of the words morphology; so each word is represented as a bag of their character n-grams. We decide to use a big written dataset (French Gigaword) instead of standard size transcriptions to train and evaluate the proposed architectures with the intention of using the trained models in posterior real life ASR transcriptions. Three different architectures are tested showing similar results; general accuracy for all models overpasses 0.96. All three models have good F1 scores reaching values over 0.97 regarding the "not sentence boundary" class. However, the "sentence boundary" class reflects lower scores decreasing the F1 metric to 0.778 for one of the models. Using subword-level information vectors seem to be very effective leading to conclude that the morphology of words encoded in the embeddings representations behave like pixels in an image making feasible the use of convolutional neural network architectures.

研究动机与目标

• 为解决自动语音识别（ASR）转录文本中缺乏句法结构所导致的句子边界检测（SBD）挑战。
• 通过利用编码词语形态的子词级别信息向量（SLI），提升法语SBD性能。
• 在大型书面语料库（法语Gigaword）上进行模型训练与评估，以提升对真实世界ASR转录文本的泛化能力。
• 证明将CNN与SLI向量结合在低资源或形态丰富的语言（如法语）的序列标注任务中的有效性。
• 为下游NLP任务提供可复用的高精度模型，用于ASR输出的句子边界检测。

提出的方法

• 使用子词级别信息（SLI）向量将词语表示为其字符n-gram嵌入的总和，通过在维基百科上训练fastText学习得到。
• 将m个词语的上下文窗口输入一维卷积神经网络（CNN），其中每个词语由300维的SLI向量表示。
• 将输入视为2D矩阵（m × 300），类比于图像处理，使CNN能够跨序列共享卷积滤波器。
• 端到端训练三种不同的CNN架构（CNN-A、CNN-B、CNN-C）用于二分类任务：'句子边界' vs. '非句子边界'。
• 在归一化后的法语Gigaword（GW_afp）数据集上训练模型，包括移除XML标签、连字符，以及将标点符号替换为<SEG>标记。
• 通过各类别的准确率、精确率、召回率和F1分数评估模型性能，重点关注类别不平衡问题的处理。

实验结果

研究问题

• RQ1 子词级别信息向量能否提升形态丰富的语言（如法语）中的句子边界检测性能？
• RQ2 当将文本序列表示为向量矩阵并把词嵌入视为图像像素时，卷积神经网络在该任务中的有效性如何？
• RQ3 在大型书面语料库（如法语Gigaword）上进行训练，是否能比在较小的手动转录数据集上获得更好的SBD泛化性能？
• RQ4 在使用SLI向量时，不同CNN架构在SBD任务上的表现如何，特别是在处理类别不平衡方面？
• RQ5 训练好的模型是否能有效复用于真实世界ASR输出（如新闻广播和报告）中的SBD任务？

主要发现

• 表现最佳的模型CNN-B在‘句子边界’类上的F1分数为0.795，在‘非句子边界’类上达到0.980。
• 所有三个模型的整体准确率均超过0.96，其中CNN-B达到0.965。
• ‘非句子边界’类的F1分数始终超过0.97，表明模型在多数类上表现强劲。
• ‘句子边界’类的F1分数较低（0.778–0.795），反映出类别不平衡数据带来的挑战以及稀有边界的检测难度。
• 所有模型在训练过程中的交叉熵损失均收敛至0.09以下，其中CNN-B最低，达到0.080，表明优化过程稳定且高效。
• SLI向量的使用使模型能够有效建模词素结构，使CNN能够从词级别的子词表示中学习到有意义的模式。