[论文解读] Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Neural TTS

Mutian He, Yan Deng+1 more|arXiv (Cornell University)|Jun 3, 2019

Speech Recognition and Synthesis参考文献 21被引用 7

一句话总结

该论文提出了一种分步单调注意力机制，用于序列到序列神经TTS，以增强模型在分布外输入下的鲁棒性。通过强制执行严格的单调性并消除输入跳过，该方法提高了对齐稳定性，减少了注意力错误（如坍塌和重复），在不牺牲分布内自然度的前提下，显著提升了鲁棒性，该结论已在Interspeech 2019得到验证。

ABSTRACT

Neural TTS has demonstrated strong capabilities to generate human-like speech with high quality and naturalness, while its generalization to out-of-domain texts is still a challenging task, with regard to the design of attention-based sequence-to-sequence acoustic modeling. Various errors occur in those inputs with unseen context, including attention collapse, skipping, repeating, etc., which limits the broader applications. In this paper, we propose a novel stepwise monotonic attention method in sequence-to-sequence acoustic modeling to improve the robustness on out-of-domain inputs. The method utilizes the strict monotonic property in TTS with constraints on monotonic hard attention that the alignments between inputs and outputs sequence must be not only monotonic but allowing no skipping on inputs. Soft attention could be used to evade mismatch between training and inference. The experimental results show that the proposed method could achieve significant improvements in robustness on out-of-domain scenarios for phoneme-based models, without any regression on the in-domain naturalness test.

研究动机与目标

• 解决注意力机制在神经TTS中面对分布外输入时泛化能力差的问题。
• 缓解在未见语言上下文中常见的注意力错误，如坍塌、跳过和重复。
• 通过强制执行严格的单调性，避免输入跳过，提升对齐的鲁棒性。
• 在提升分布外性能的同时，保持分布内数据的高自然度和质量。

提出的方法

• 提出一种分步单调注意力机制，强制输入序列与输出序列之间实现严格的单调对齐。
• 施加约束，确保每个输入词元仅被关注一次且按顺序进行，防止跳过或重复。
• 在训练中使用软注意力，以避免硬注意力中常见的训练与推理不匹配问题。
• 将该方法应用于序列到序列的声学建模范式，实现端到端神经TTS。
• 采用硬注意力的可微松弛形式，以在反向传播中保持梯度流动。
• 设计注意力机制，使其同时具备单调性和非跳过特性，确保对齐的稳定与可解释性。

实验结果

研究问题

• RQ1 一种无输入跳过的单调注意力机制是否能提升神经TTS在分布外输入下的鲁棒性？
• RQ2 强制执行严格单调性如何影响未见语言上下文中的注意力稳定性与错误率？
• RQ3 所提方法是否在提升分布外泛化能力的同时，保持了高分布内自然度？
• RQ4 训练中使用软注意力是否能有效近似硬注意力，同时保持对齐完整性？

主要发现

• 与基线注意力机制相比，所提方法在分布外测试集上实现了显著的鲁棒性提升。
• 在未见输入条件下，注意力坍塌、跳过和重复错误均显著减少。
• 模型在分布内评估中保持了高自然度与高质量，未出现性能下降。
• 该方法在多样化的分布外测试案例中均表现出一致的性能增益，表明其具备强大的泛化能力。