[论文解读] Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study

Zijian Yang, Jörg Barkoczi+2 more|arXiv (Cornell University)|Mar 2, 2026

Speech Recognition and Synthesis被引用 0

一句话总结

该论文为序列级无监督语音识别建立了理论框架，提出成功的两个必要条件，推导出误差界，并提出一种用于统计模型的单阶段序列级交叉熵损失。

ABSTRACT

Unsupervised speech recognition is a task of training a speech recognition model with unpaired data. To determine when and how unsupervised speech recognition can succeed, and how classification error relates to candidate training objectives, we develop a theoretical framework for unsupervised speech recognition grounded in classification error bounds. We introduce two conditions under which unsupervised speech recognition is possible. The necessity of these conditions are also discussed. Under these conditions, we derive a classification error bound for unsupervised speech recognition and validate this bound in simulations. Motivated by this bound, we propose a single-stage sequence-level cross-entropy loss for unsupervised speech recognition.

研究动机与目标

• 通过在统计模型中处理未配对的语音和文本数据来激励无监督的ASR。
• 定义在序列分类任务中无监督训练可行的条件。
• 推导序列级分类误差的界限并将其与模型分布联系起来。
• 提出一个实际的一阶段序列级交叉熵损失，利用理论界限。

提出的方法

• 用条件分布 q(x|c) 和语言模型先验 pr(c) 来建模 ASR 问题。
• 定义并分析真分布与模型分布在序列上的分类误差不匹配。
• 引入两个条件：结构约束（pr(x|c) 与 q 的因子分解完全相同）和语言模型矩阵 P_C 的列满秩。
• 利用 l1 距离界和左逆矩阵 P_C^+ 推导序列级误差不匹配的上界。
• 展示该界限如何导致一个序列级交叉熵损失，通过经验数据最小化。
• 提供仿真以验证界限，并概述一个实际的优化目标。

实验结果

研究问题

• RQ1 哪些条件能够使基于统计模型的无监督序列级ASR成为可能？
• RQ2 真分布与模型分布之间的错配如何与无监督训练中的序列级误差界限相关？
• RQ3 是否可以从理论界限推导出一个实用的一阶段序列级损失用于端到端训练？

主要发现

• 两项充分条件使无监督序列级ASR成为可能：结构约束和语言模型矩阵 P_C 的列满秩。
• 在这些条件下，序列级误差不匹配的界限可以用 pr(x1^N) 与 q(x1^N) 的 l1 距离表示。
• 涉及 P_C 的左逆之间的界限将局部条件和位置级边际联系起来，指向一个实用的基于 KL/散度的目标函数。
• 作者推导出一个序列级交叉熵损失，该损失通过经验数据来逼近最小化真分布与模型分布之间的 KL 散度。
• 仿真结果支持所提出的界限及其与序列级训练目标之间的关系。