[论文解读] Turning Whisper into Real-Time Transcription System

Dominik Macháček, Raj Dabre+1 more|arXiv (Cornell University)|Jul 27, 2023

Speech Recognition and Synthesis被引用 7

一句话总结

本文提出 Whisper-Streaming，一种基于 Whisper ASR 模型、采用 LocalAgreement 流式策略与自适应延迟机制的实时语音转录与翻译系统。其在英文长时语音上实现了平均 3.3 秒延迟，且质量优异，展示了在真实多语言会议场景中的鲁棒性与实际可用性。

ABSTRACT

Whisper is one of the recent state-of-the-art multilingual speech recognition and translation models, however, it is not designed for real time transcription. In this paper, we build on top of Whisper and create Whisper-Streaming, an implementation of real-time speech transcription and translation of Whisper-like models. Whisper-Streaming uses local agreement policy with self-adaptive latency to enable streaming transcription. We show that Whisper-Streaming achieves high quality and 3.3 seconds latency on unsegmented long-form speech transcription test set, and we demonstrate its robustness and practical usability as a component in live transcription service at a multilingual conference.

研究动机与目标

• 利用离线 Whisper ASR 模型实现实时、低延迟的语音转录与翻译。
• 实现并评估一种流式推理管道，确保在实际延迟约束下保持高转录质量。
• 在真实世界多语言会议环境中，展示系统的鲁棒性与可用性。
• 提供公开可用、可投入生产的实现，供工业界与学术界使用。
• 为未来实时多语言语音处理研究建立强有力的基线。

提出的方法

• 通过在 Whisper 模型中引入基于 LocalAgreement 算法的流式推理管道，实现同步转录。
• 采用自适应延迟机制，根据转录输出的置信度动态调整延迟。
• 使用 faster-whisper 推理引擎与 CTranslate2，实现在 GPU 上高效、低延迟的推理。
• 在 ELITR 框架中集成服务组件，实现分布式、多源、多目标的实时转录与翻译。
• 利用基础 Whisper 模型提供的词级时间戳与标点符号，支持流式对齐与置信度估计。
• 采用基于缓冲区的处理模型，音频按块处理，已确认的输出段被锁定，未确认段随时间逐步优化。

Figure 1: Illustration of processing three consecutive updates. The yellow highlighted text is a “prompt”, the previous context to follow. The black-bordered rectangle is an audio buffer, and the text inside is Whisper’s transcript generated from that sound segment. The blue vertical line is a times

实验结果

研究问题

• RQ1 能否在不牺牲质量的前提下，有效将 Whisper ASR 模型适配为实时、低延迟转录？
• RQ2 当应用于大规模、多语言语音识别任务时，LocalAgreement 流式策略表现如何？
• RQ3 基于流式 Whisper 的系统在长时、未分段语音上的可实现延迟与词错误率（WER）是多少？
• RQ4 系统在真实世界多语言实时转录场景中的鲁棒性如何？
• RQ5 系统能否可靠地集成到生产级、分布式语音处理流水线中？

主要发现

• Whisper-Streaming 在 NVIDIA A40 GPU 上，于英文 ESIC 测试集上实现了平均 3.3 秒延迟，且具备计算感知延迟特性。
• 系统表现出高转录质量，在英文赛道上的 WER 为 2.35%，与离线 Whisper 性能相当。
• 在德语与捷克语上，系统在 0.5 秒延迟下分别实现了 10.2% 与 12.3% 的 WER，展现出强大的多语言泛化能力。
• 系统在真实多语言会议中成功部署，表现出鲁棒性与可靠性，对英语、捷克语与乌克兰语语音均实现了可接受延迟与高质量转录。
• 与 ELITR 框架的集成实现了多语言流的实时分布式处理，支持自动语音识别与语音翻译。
• Whisper-Streaming 的开源发布为实时多语言语音处理提供了可投入生产的基线。

Figure 2: Impact of VAD filter on latency and quality. The striking difference in VAD activated or deactivated for English vs German is due to German being the speech of an interpreter.