[论文解读] Tools and resources for Romanian text-to-speech and speech-to-text applications

Tiberiu Boroş, Ștefan Daniel Dumitrescu+1 more|arXiv (Cornell University)|Feb 15, 2018

Natural Language Processing Techniques参考文献 10被引用 7

一句话总结

本文提出了一套可扩展的多语言NLP与文本转语音（TTS）工具集，并构建了一个新整理的罗马尼亚语语音语料库，适用于资源匮乏的环境。该工具集整合了决策树、线性模型和双向LSTM用于NLP，其轻量级语音识别系统在字符级别达到了89.52%的准确率，证明了该语料库在罗马尼亚语自动语音识别（ASR）与TTS开发中的可行性。

ABSTRACT

In this paper we introduce a set of resources and tools aimed at providing support for natural language processing, text-to-speech synthesis and speech recognition for Romanian. While the tools are general purpose and can be used for any language (we successfully trained our system for more than 50 languages and participated in the Universal Dependencies Shared Task), the resources are only relevant for Romanian language processing.

研究动机与目标

• 为资源匮乏环境，特别是移动设备与嵌入式系统，开发一套可扩展、轻量级的NLP与TTS工具集。
• 构建一个全面、高质量的罗马尼亚语语音语料库，整合公开获取与受版权限制的数据，并附带语音与转录的对齐标注。
• 通过在相同框架下训练超过50种语言，支持多语言NLP与TTS。
• 通过增加对话风格的语句扩展语料库，以提升对话应用中的语调自然度，从而改善TTS质量。
• 对NLP与TTS模型进行预训练并发布，降低罗马尼亚语NLP与语音技术的入门门槛。

提出的方法

• MLPLA架构采用即插即用设计，包含三个接口：数据输入处理器、基础处理器和输出处理器，支持模块化NLP流水线构建。
• 支持三种机器学习方法：决策树（内存占用低，时间复杂度对数级）、线性模型（需大量特征工程，时间复杂度线性）和双向LSTM（自动学习特征，计算负载高）。
• 字符级语音识别系统采用梅-广义倒谱系数，两层双向LSTM（800个单元），并使用连接时序分类（CTC）损失进行端到端训练。
• 语音语料库包含来自维基百科、有声读物和罗马尼亚匿名语音语料库（RASC）的对齐音频与文本，附带语音与转录标注。
• 通过COROLA口头语料库查询平台（OCQP）实现对受限音频的间接访问，利用对齐数据作为桥梁。
• 为NLP与TTS模型提出预训练与微调策略，并计划发布Universal Dependencies语言的预训练模型。

实验结果

研究问题

• RQ1 轻量级、模块化的NLP与TTS工具集是否能在多种语言的资源匮乏与移动环境中有效部署？
• RQ2 新构建的罗马尼亚语语音语料库在训练端到端自动语音识别系统方面的有效性如何？
• RQ3 在资源匮乏语言如罗马尼亚语上，字符级ASR系统是否能通过紧凑高效的架构实现高准确率？
• RQ4 当前TTS语料库在支持对话式交互中的自然语调方面程度如何？如何改进？
• RQ5 预训练模型在降低资源匮乏环境下NLP与TTS系统训练负担方面有何影响？

主要发现

• 字符级语音识别系统在完整训练数据集上仅训练四轮后即达到89.52%的准确率，证明了该语料库在ASR训练中的可行性。
• NLP工具集成功支持超过50种语言的训练，证实了其多语言可扩展性与通用实用性。
• 语音语料库包含经过仔细标注的数据，特别关注语音瑕疵、地区口音与外来词，提升了转录的鲁棒性。
• 由于当前语料库中缺乏短句对话式语句，TTS系统在对话场景中表现出较差的语调，凸显了其关键局限性。
• 计划发布预训练模型，以减少对大量重新训练的需求，尤其针对资源匮乏语言。
• 该系统可部署于移动设备（Android 5与6），证实其高效性与在实时、低功耗应用中的适用性。