[论文解读] Predict-and-Update Network: Audio-Visual Speech Recognition Inspired by Human Speech Perception

Jiadong Wang, Xinyuan Qian+1 more|arXiv (Cornell University)|Sep 5, 2022

Speech and Audio Processing被引用 6

一句话总结

本文提出了一种名为预测与更新网络（P&U net）的新颖端到端音视频语音识别模型，其灵感源自人类的语音感知机制，其中视觉信号用于预测并引导音频处理。通过使用视觉嵌入通过跨模态Conformer对音频表征进行条件化，该模型实现了最先进性能，在干净环境下相比先前方法将WER降低了10%以上，在嘈杂环境下降低了40%以上。

ABSTRACT

Audio and visual signals complement each other in human speech perception, so do they in speech recognition. The visual hint is less evident than the acoustic hint, but more robust in a complex acoustic environment, as far as speech perception is concerned. It remains a challenge how we effectively exploit the interaction between audio and visual signals for automatic speech recognition. There have been studies to exploit visual signals as redundant or complementary information to audio input in a synchronous manner. Human studies suggest that visual signal primes the listener in advance as to when and on which frequency to attend to. We propose a Predict-and-Update Network (P&U net), to simulate such a visual cueing mechanism for Audio-Visual Speech Recognition (AVSR). In particular, we first predict the character posteriors of the spoken words, i.e. the visual embedding, based on the visual signals. The audio signal is then conditioned on the visual embedding via a novel cross-modal Conformer, that updates the character posteriors. We validate the effectiveness of the visual cueing mechanism through extensive experiments. The proposed P&U net outperforms the state-of-the-art AVSR methods on both LRS2-BBC and LRS3-BBC datasets, with the relative reduced Word Error Rate (WER)s exceeding 10% and 40% under clean and noisy conditions, respectively.

研究动机与目标

• 解决在音频质量下降的嘈杂环境中实现鲁棒语音识别的挑战。
• 建模类人的视觉提示机制，其中唇部运动可提前预测并引导听觉处理。
• 通过引入预测性视觉前导的早期融合，而非简单的晚期或早期融合，改进音视频语音识别。
• 验证视觉提示可增强低信噪比（SNR）条件下的鲁棒性，尤其是在音频受损时。
• 证明视觉信号交互比单纯的信号互补性在AVSR中更具有效性。

提出的方法

• P&U net首先使用视觉编码器从视觉信号中预测字符后验概率，生成一个作为预测线索的视觉嵌入。
• 该视觉嵌入随后通过一种新型跨模态Conformer模块用于调节音频流，该模块通过因子分解激励前馈网络（FFN）更新音频表征。
• 跨模态Conformer用因子分解激励机制替代标准FFN层，以实现动态、模态感知的特征再校准。
• 该模型通过在音频处理前整合视觉预测实现早期融合，模拟人类大脑的预期注意力机制。
• 该架构采用教师强制训练模式，基于字符级后验概率使用交叉熵损失进行训练，并使用预训练的单模态模型进行初始化。
• 使用音频-视觉上下文表征之间的余弦相似度分析模态对齐情况，尤其是在不同SNR条件下的表现。

Figure 1: The universal diagram of end-to-end lip reading or ASR . Input can be video or audio.

实验结果

研究问题

• RQ1 视觉信号是否不仅可以作为互补输入，还能作为预测线索来引导AVSR中的音频处理？
• RQ2 一种能够提前预测音频输入的视觉提示机制是否能提升在嘈杂环境中的识别鲁棒性？
• RQ3 视觉条件化在神经网络架构中的位置如何影响性能？
• RQ4 视觉嵌入的维度在多大程度上影响识别准确率？
• RQ5 与标准的早期或晚期融合策略相比，视觉提示机制在AVSR中是否更具有效性？

主要发现

• 在LRS2-BBC数据集上，P&U net在干净条件下相比最先进方法实现了超过10%的相对WER降低，在嘈杂条件下降低超过40%。
• 该模型在低信噪比条件下保持了比基线AV Conformer更高的音频-视觉表征之间的余弦相似度，表明模态对齐更优。
• P&U net（晚期）变体在嘈杂条件下表现出更优的鲁棒性，随着SNR降低，余弦相似度下降更缓慢。
• 视觉嵌入的维度（K=16至128）对性能影响极小，表明中等大小的嵌入已足够实现有效提示。
• 将第一个FFN层替换为因子分解激励模块的性能优于替换第二个或两个FFN层，证实了早期视觉提示的优势。
• 将两个FFN层均替换为因子分解激励模块会降低性能，表明视觉提示应选择性应用而非普遍使用。

Figure 2: The general block diagram of our proposed P&U net which adopts video modality to predict a sequence of a coarse probability distribution, i.e., visual embedding, towards the target text transcription. The audio input is then augmented with the visual embedding for speech recognition via an