[论文解读] Sequence Modeling via Segmentations

Chong Wang, Yining Wang+4 more|arXiv (Cornell University)|Feb 24, 2017

Natural Language Processing Techniques参考文献 25被引用 24

一句话总结

本文提出了一种概率序列建模框架，通过将序列建模为片段概率的乘积来利用片段结构，其中通过精确动态规划对分割进行边缘化。该方法称为SWAN（Sleep-Wake Networks），在TIMIT音素识别任务上达到最先进性能（18.1% PER），在字符级语音识别任务上取得具有竞争力的字符错误率（30.5%），同时发现具有语言学意义的片段。

ABSTRACT

Segmental structure is a common pattern in many types of sequences such as phrases in human languages. In this paper, we present a probabilistic model for sequences via their segmentations. The probability of a segmented sequence is calculated as the product of the probabilities of all its segments, where each segment is modeled using existing tools such as recurrent neural networks. Since the segmentation of a sequence is usually unknown in advance, we sum over all valid segmentations to obtain the final probability for the sequence. An efficient dynamic programming algorithm is developed for forward and backward computations without resorting to any approximation. We demonstrate our approach on text segmentation and speech recognition tasks. In addition to quantitative results, we also show that our approach can discover meaningful segments in their respective application contexts.

研究动机与目标

• 通过利用语言中的短语或语音中的音位单元等固有片段结构来建模序列。
• 开发一种精确推理机制用于序列建模，通过对所有有效分割进行求和而不使用近似。
• 通过学习有意义且上下文相关的片段来提升语音识别和文本分割中的序列建模性能。
• 实现端到端训练，使用尊重片段边界的可微分损失函数。
• 探索片段结构在语音之外的序列建模中的实用性，包括机器翻译和基因组学等潜在应用。

提出的方法

• 将序列的概率表示为所有有效分割的总和，其中每个分割的概率是其各个片段概率的乘积。
• 使用循环神经网络（如LSTM、GRU）对每个片段进行建模，条件依赖于先前的片段和输入上下文。
• 采用动态规划算法进行精确的前向和后向计算，避免在边缘化过程中使用近似。
• 在序列到序列任务中引入单调对齐假设，允许输入元素发出一个片段或一个空片段。
• 将该方法命名为“Sleep-Wake Networks”（SWAN），其中“sleep”对应发出空片段，而“wake”对应发出非空片段。
• 在推理中采用束搜索解码策略，实现对可能分割的高效生成。

实验结果

研究问题

• RQ1 能否显式建模序列中的片段结构以提升序列建模性能？
• RQ2 能否使用精确动态规划在不使用近似的情况下计算指数级数量分割的边缘概率？
• RQ3 学习发现有意义的片段是否能提升语音识别和文本分割任务的性能？
• RQ4 该模型能否泛化到序列到序列和非序列到序列设置？
• RQ5 与标准序列模型相比，该模型发现语言学上有意义片段的能力如何？

主要发现

• SWAN在TIMIT核心测试集上实现了18.1%的音素错误率（PER），优于先前模型，包括BiLSTM-5L-250H（18.4%）和Attention RNN（17.6%）。
• 在字符级语音识别任务中，SWAN实现了30.5%的字符错误率（CER），优于CTC基线模型（31.8%）。
• 该模型发现了具有语言学意义的片段，例如常见的音位模式和类似单词的单位，如TIMIT数据集中的定性示例所示。
• 在字符级任务中，平均片段长度约为1.5，表明较长的片段有助于降低声学变异性。
• 空格符号通常与前一个字符组合，或作为独立片段处理，表明其作为片段边界而非内容承载单元的功能。
• 随着序列长度（L）增大，模型性能提升，表明更广泛的分割探索有助于优化。