[论文解读] Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading

Mingshuang Luo, Shuang Yang+2 more|arXiv (Cornell University)|Mar 9, 2020

Speech and Audio Processing参考文献 25被引用 7

一句话总结

该论文提出了一种伪卷积策略梯度（PCPG）方法，用于序列到序列的唇读任务，通过将字符错误率（CER）作为强化学习奖励，并应用伪卷积操作以增强奖励和损失计算中的时间上下文，从而缓解了暴露偏差和损失-度量不一致的问题。该方法在GRID、LRW和LRW-1000基准上实现了最先进或具有竞争力的性能，其中在GRID上使用束搜索的词错误率（WER）为11.2%，在LRW-1000上的准确率为33.1%。

ABSTRACT

Lip-reading aims to infer the speech content from the lip movement sequence and can be seen as a typical sequence-to-sequence (seq2seq) problem which translates the input image sequence of lip movements to the text sequence of the speech content. However, the traditional learning process of seq2seq models always suffers from two problems: the exposure bias resulted from the strategy of "teacher-forcing", and the inconsistency between the discriminative optimization target (usually the cross-entropy loss) and the final evaluation metric (usually the character/word error rate). In this paper, we propose a novel pseudo-convolutional policy gradient (PCPG) based method to address these two problems. On the one hand, we introduce the evaluation metric (refers to the character error rate in this paper) as a form of reward to optimize the model together with the original discriminative target. On the other hand, inspired by the local perception property of convolutional operation, we perform a pseudo-convolutional operation on the reward and loss dimension, so as to take more context around each time step into account to generate a robust reward and loss for the whole optimization. Finally, we perform a thorough comparison and evaluation on both the word-level and sentence-level benchmarks. The results show a significant improvement over other related methods, and report either a new state-of-the-art performance or a competitive accuracy on all these challenging benchmarks, which clearly proves the advantages of our approach.

研究动机与目标

• 解决序列到序列唇读模型在教师强制训练中的暴露偏差问题。
• 解决交叉熵损失优化与最终评估指标（CER/WER）之间的不一致问题。
• 通过在奖励和损失计算中引入时间上下文信息，提升模型的鲁棒性。
• 在词级别和句子级别唇读基准上实现最先进性能。

提出的方法

• 在策略梯度框架中集成字符错误率（CER）作为密集的、不可微的奖励信号，以使训练与最终评估指标对齐。
• 在损失和奖励维度上应用伪卷积操作，以扩展感受野，实现在每个时间步的上下文感知优化。
• 使用卷积核大小 $k=3$ 和步长 $s=1$ 来聚合相邻时间步的预测结果，提升奖励和损失的稳定性。
• 采用类似卷积的加权操作，使用可学习或固定的核权重 $w$，以平衡周围时间步的贡献。
• 结合判别性交叉熵损失与基于策略梯度的强化学习，联合优化准确率和CER。
• 端到端联合训练视频编码器和解码器，PCPG模块增强下游任务的表征学习能力。

实验结果

研究问题

• RQ1 将CER作为密集奖励信号是否能超越标准交叉熵损失，提升序列到序列唇读性能？
• RQ2 通过伪卷积操作扩展奖励和损失计算中的时间上下文，是否能提升模型的泛化能力和鲁棒性？
• RQ3 PCPG方法在词级别和句子级别唇读基准上与最先进模型相比表现如何？
• RQ4 PCPG模块中伪卷积操作的最优卷积核大小和权重配置是什么？

主要发现

• 在GRID基准上，PCPG模型使用束搜索的WER为11.2%，不使用束搜索的WER为11.9%，优于先前方法。
• 在LRW-1000数据集上，模型在解码任务中达到33.1%的准确率，在分类任务中达到38.70%的准确率，超越了先前最先进结果。
• 消融实验表明，$k=3$ 性能最佳，表明该核大小为奖励和损失计算提供了最优上下文长度。
• 模型对核权重变化具有鲁棒性，不同权重配置下的性能差异小于1%。
• PCPG模型学习到的表征在下游序列分类任务中表现优异，在LRW上达到83.5%准确率，在LRW-1000上达到38.70%准确率，优于现有方法。
• PCPG模块具有良好的泛化能力，在解码和分类任务中均实现了最先进或具有竞争力的结果。