[论文解读] On Robustness to Missing Video for Audiovisual Speech Recognition

Oscar Chang, Otavio Braga+3 more|arXiv (Cornell University)|Dec 13, 2023

Speech and Audio Processing被引用 4

一句话总结

本文提出了一种鲁棒的视听语音识别框架，确保在缺少视频时性能不会下降。它引入了一种标准化的评估协议，并表明基于级联的架构无关方法在各种视频丢失条件下始终优于现有技术（如Dropout），在保持准确率方面表现更优。

ABSTRACT

It has been shown that learning audiovisual features can lead to improved speech recognition performance over audio-only features, especially for noisy speech. However, in many common applications, the visual features are partially or entirely missing, e.g.~the speaker might move off screen. Multi-modal models need to be robust: missing video frames should not degrade the performance of an audiovisual model to be worse than that of a single-modality audio-only model. While there have been many attempts at building robust models, there is little consensus on how robustness should be evaluated. To address this, we introduce a framework that allows claims about robustness to be evaluated in a precise and testable way. We also conduct a systematic empirical study of the robustness of common audiovisual speech recognition architectures on a range of acoustic noise conditions and test suites. Finally, we show that an architecture-agnostic solution based on cascades can consistently achieve robustness to missing video, even in settings where existing techniques for robustness like dropout fall short.

研究动机与目标

• 为解决在视听语音识别（AVASR）中对缺失视频鲁棒性评估缺乏共识的问题。
• 建立一个精确、可测试的框架，用于评估AVASR模型的鲁棒性。
• 在不同噪声和视频丢包条件下，实证评估常见AVASR架构的鲁棒性。
• 开发并验证一种架构无关的解决方案，确保在无视频时性能永远不会低于仅音频基线。

提出的方法

• 提出正式的鲁棒性准则：若在推理时额外输入视频仅能提升或维持性能，而不会造成损害，则模型为鲁棒。
• 引入三个不同的测试套件——$ au_{\text{mid}}$、$ au_{\text{end}}$ 和 $ au_{\text{rate}}$——以模拟不同时间位置和速率下的视频缺失。
• 采用基于级联的架构，将独立的仅音频模型与视频增强模型融合，从而在无论是否有视频的情况下均能实现鲁棒推理。
• 在多种噪声条件（干净、0dB、10dB、20dB SNR）和视频丢包水平下，使用WER（词错误率）作为主要指标。
• 对标准AVASR模型（如Conformer、LSTM）进行测试，比较其在AV、AO及AO基线条件下的性能表现。
• 在多种架构和训练策略下验证鲁棒性，确保级联解决方案的泛化能力。

Figure 1: a) An audiovisual model trained with the RNN-T loss. b) A cascaded audiovisual model. The dashed lines indicate different routes the input can take: the AO path, which goes through the audio model, and the AV path, which goes through the audiovisual model.

实验结果

研究问题

• RQ1 能否定义一种标准化、可测试的框架，用于评估AVASR模型在缺失视频情况下的鲁棒性？
• RQ2 现有AVASR模型在不同噪声水平和丢包模式下的受控视频丢包条件下表现如何？
• RQ3 基于级联的架构无关解决方案是否在各种模型架构和噪声条件下均能保持一致的鲁棒性？
• RQ4 通过全面评估，是否存在声称的鲁棒性与实际在视频缺失时的性能表现之间的差异？

主要发现

• 所提出的鲁棒性框架能够在缺失视频条件下实现精确、可复现的AVASR模型评估，解决了以往研究中的模糊性问题。
• 现有模型（如Makino等人，2019；Zhang等人，2019）未通过鲁棒性准则，即使在仅音频数据上测试时性能也出现下降，尽管其在音视频数据上进行过训练。
• 基于级联的方法在所有测试设置中均表现出一致的鲁棒性：随着视频逐步被移除，WER保持稳定或提升，即使在高噪声（0dB SNR）条件下亦如此。
• 对于基于LSTM的级联模型，AO基线的WER保持在24.54±1.45 WER，而在100%视频丢包条件下的WER为25.04±1.5 WER——表明性能未出现下降。
• 基于Conformer的级联模型在所有噪声水平和丢包率下均将WER控制在4.5 WER以内，展现出强大的泛化能力和鲁棒性。
• 即使在极端情况（如100%视频丢包）下，级联模型的性能也未劣于仅音频基线，验证了核心鲁棒性理念。

Figure 2: Dropping $50\%$ of the frames under different test suites.