[论文解读] Quran Recitation Recognition using End-to-End Deep Learning

Ahmad Al Harere, Khloud Al Jallad|arXiv (Cornell University)|May 10, 2023

Speech Recognition and Synthesis被引用 6

一句话总结

本文提出了一种用于《古兰经》诵读识别的端到端深度学习模型，采用CNN-BiGRU编码器与连接时序分类（CTC）及基于字符的束搜索解码器。在公开的Ar-DAD数据集上进行训练，模型在词错误率（WER）上达到8.34%，在字符错误率（CER）上达到2.42%，为该数据集的未来研究设立了新基准。

ABSTRACT

The Quran is the holy scripture of Islam, and its recitation is an important aspect of the religion. Recognizing the recitation of the Holy Quran automatically is a challenging task due to its unique rules that are not applied in normal speaking speeches. A lot of research has been done in this domain, but previous works have detected recitation errors as a classification task or used traditional automatic speech recognition (ASR). In this paper, we proposed a novel end-to-end deep learning model for recognizing the recitation of the Holy Quran. The proposed model is a CNN-Bidirectional GRU encoder that uses CTC as an objective function, and a character-based decoder which is a beam search decoder. Moreover, all previous works were done on small private datasets consisting of short verses and a few chapters of the Holy Quran. As a result of using private datasets, no comparisons were done. To overcome this issue, we used a public dataset that has recently been published (Ar-DAD) and contains about 37 chapters that were recited by 30 reciters, with different recitation speeds and different types of pronunciation rules. The proposed model performance was evaluated using the most common evaluation metrics in speech recognition, word error rate (WER), and character error rate (CER). The results were 8.34% WER and 2.42% CER. We hope this research will be a baseline for comparisons with future research on this public new dataset (Ar-DAD).

研究动机与目标

• 通过利用最近发布的Ar-DAD数据集，解决《古兰经》诵读识别领域缺乏公开、大规模数据集的问题。
• 开发一种稳健的端到端深度学习模型，能够处理《古兰经》诵读特有的语音与语调规则。
• 通过在公开数据集上使用标准化指标进行训练与评估，为未来研究建立可复现的基线。
• 克服先前研究依赖小规模私有数据集以及传统自动语音识别或错误分类方法的局限性。
• 通过端到端学习结合CTC与束搜索解码，提升识别准确率。

提出的方法

• 该模型采用CNN-BiGRU编码器，从原始音频输入中提取分层声学特征。
• 使用连接时序分类（CTC）作为目标函数，使模型在无需强制对齐的情况下进行训练。
• 应用基于字符的解码器与束搜索，从编码表示中生成最终的转录文本。
• 模型在Ar-DAD数据集上进行训练与评估，该数据集包含37个章节，由30位不同诵读人以不同语速和发音规则诵读。
• 该架构旨在处理《古兰经》阿拉伯语的语言复杂性，包括标准语音中不存在的特定语音规则。
• 评估采用标准自动语音识别指标：词错误率（WER）与字符错误率（CER）。

实验结果

研究问题

• RQ1 端到端深度学习模型是否能在使用公开数据集的情况下，实现对《古兰经》诵读的高精度识别？
• RQ2 与以往方法相比，所提出的CNN-BiGRU结合CTC与束搜索解码器在标准化基准上的表现如何？
• RQ3 发音规则与可变诵读速度在真实《古兰经》音频上的识别性能中影响程度如何？
• RQ4 像Ar-DAD这样的公开数据集能否支持对《古兰经》诵读识别系统进行可靠且可复现的评估？
• RQ5 在《古兰经》语音识别中，为最小化WER与CER，模型组件的最佳配置是什么？

主要发现

• 所提出的模型在Ar-DAD数据集上实现了8.34%的词错误率（WER），表明其在《古兰经》诵读识别方面具有强大性能。
• 字符错误率（CER）为2.42%，表明在字符层面具有高精度，这对宗教文本的精确转录至关重要。
• 使用公开的Ar-DAD数据集使未来研究能够进行公平且可复现的比较，解决了以往研究使用私有数据的局限性。
• 结合CTC与束搜索解码的端到端架构，有效应对了《古兰经》诵读中语言复杂性与变异性带来的挑战。
• 研究结果为未来《古兰经》诵读识别研究设立了新基线，尤其适用于在Ar-DAD数据集上训练的模型。
• 该模型对诵读速度与发音规则的变化表现出鲁棒性，这是《古兰经》语音识别中的关键挑战。