[论文解读] Romanian Speech Recognition Experiments from the ROBIN Project

Andrei-Marius Avram, Vasile Păiș+1 more|arXiv (Cornell University)|Nov 23, 2021

Speech and dialogue systems参考文献 34被引用 5

一句话总结

本论文提出了一种基于深度神经网络（DNN）的罗马尼亚语自动语音识别（ASR）系统，具有低延迟和高准确率，结合语言模型后词错误率（WER）达到9.91%，推理延迟低于100毫秒。该工作集成了模块化的后处理组件，用于连字符恢复、首字母大写处理和未知词纠正，并通过API将系统部署在RELATE平台上，实现实时基于网络的机器人对话应用语音识别。

ABSTRACT

One of the fundamental functionalities for accepting a socially assistive robot is its communication capabilities with other agents in the environment. In the context of the ROBIN project, situational dialogue through voice interaction with a robot was investigated. This paper presents different speech recognition experiments with deep neural networks focusing on producing fast (under 100ms latency from the network itself), while still reliable models. Even though one of the key desired characteristics is low latency, the final deep neural network model achieves state of the art results for recognizing Romanian language, obtaining a 9.91% word error rate (WER), when combined with a language model, thus improving over the previous results while offering at the same time an improved runtime performance. Additionally, we explore two modules for correcting the ASR output (hyphen and capitalization restoration and unknown words correction), targeting the ROBIN project's goals (dialogue in closed micro-worlds). We design a modular architecture based on APIs allowing an integration engine (either in the robot or external) to chain together the available modules as needed. Finally, we test the proposed design by integrating it in the RELATE platform and making the ASR service available to web users by either uploading a file or recording new speech.

研究动机与目标

• 开发一种适用于实时机器人交互的快速且准确的罗马尼亚语自动语音识别系统。
• 在不牺牲识别准确率的前提下，实现低于100毫秒的推理延迟。
• 通过优化的深度神经网络架构和语言建模，超越先前的罗马尼亚语ASR结果。
• 设计模块化的后处理组件，以提升封闭领域对话系统中ASR输出的质量。
• 通过模块化、基于API的架构，实现ASR流水线的外部集成，便于部署于ROBIN等机器人平台。

提出的方法

• 在罗马尼亚语语音数据上训练深度神经网络（DNN）声学模型，以同时优化准确率和低延迟推理性能。
• 将语言模型应用于DNN输出，以降低词错误率并提升上下文理解能力。
• 设计模块化流水线，通过独立的API实现连字符恢复、首字母大写恢复以及未知词纠正。
• 将ASR系统集成至RELATE平台，支持通过网页界面上传文件和实时语音录制。
• 采用解耦式架构，将每个处理阶段（ASR、后处理）作为可通过API调用的服务暴露。
• 在模拟机器人对话的封闭微型世界环境中的受控环境中评估端到端系统性能。

实验结果

研究问题

• RQ1 基于深度神经网络的罗马尼亚语ASR系统能否在低于100毫秒的推理延迟下实现最先进性能？
• RQ2 模块化的后处理组件（连字符恢复、首字母大写处理、未知词纠正）在提升封闭领域机器人对话ASR输出质量方面效果如何？
• RQ3 将ASR系统集成至RELATE等平台在多大程度上实现了面向机器人应用的实时、基于网络的语音识别？
• RQ4 语言模型对罗马尼亚语最终ASR输出词错误率的影响如何？
• RQ5 模块化、基于API的设计在支持机器人或外部系统中的可扩展性和集成方面有何优势？

主要发现

• 所提出的基于DNN的ASR系统在结合语言模型后，词错误率达到9.91%，为罗马尼亚语语音识别的最先进结果。
• 系统保持推理延迟低于100毫秒，满足交互式机器人应用的实时性要求。
• 模块化的后处理流水线显著提升了ASR输出的可读性和正确性，尤其在受控对话环境中表现突出。
• ASR服务与RELATE平台的集成支持来自网络客户端的文件输入和实时语音输入。
• 基于API的架构支持处理模块的灵活组合，便于动态集成至机器人或外部对话系统。
• 结果表明，罗马尼亚语ASR系统可同时实现高准确率与低延迟，支持在社交助手机器人中的实际部署。