[论文解读] Quantifying and Correlating Rhythm Formants in Speech

Dafydd Gibbon, Peng Li|arXiv (Cornell University)|Sep 3, 2019

Phonetics and Phonology Research参考文献 23被引用 5

一句话总结

本文提出了节奏形式共振峰（R-formants）——语音长期谱中独特的低频谱峰——作为一种量化语音节奏的新框架。通过调幅信号与包络调制信号，作者证明R-formants与语音节奏及结构密切相关，为分析自发语篇中的语调与语言功能提供了新工具。

ABSTRACT

The objective of the present study is exploratory: to introduce and apply a new theory of speech rhythm zones or rhythm formants (R-formants). R-formants are zones of high magnitude frequencies in the low frequency (LF) long-term spectrum (LTS), rather like formants in the short-term spectra of vowels and consonants. After an illustration of the method, an R-formant analysis is made of non-elicited extracts from public speeches. The LF-LTS of three domains, the amplitude modulated (AM) absolute (rectified) signal, the amplitude envelope modulation (AEM) and frequency modulation (FM, F0, 'pitch') of the signal are compared. The first two correlate well, but the third does not correlate consistently with the other two, presumably due to variability of tone, pitch accent and intonation. Consequently, only the LF LTS of the absolute speech signal is used in the empirical analysis. An informal discussion of the relation between R-formant patterns and utterance structure and a selection of pragmatic variables over the same utterances showed some trends for R-formant functionality and thus useful directions for future research.

研究动机与目标

• 开发并验证一种基于低频谱分量的语音节奏分析新理论框架。
• 探讨语音长期谱（LTS）中的节奏形式共振峰（R-formants）是否与语调及句子结构特征相关。
• 评估R-formants在不同信号表示形式下的鲁棒性：调幅（AM）、包络调制（AEM）及频率调制（FM，F0）。
• 识别R-formants在自发语篇语言与语用层面可能发挥的功能角色。
• 为未来在自然、非诱发语篇中基于节奏的语音分析研究提供基础。

提出的方法

• 通过计算语音信号的长期谱（LTS），识别出称为节奏形式共振峰（R-formants）的低频谱峰。
• 分析三种信号表示形式：整流绝对信号（AM）、包络调制（AEM）及基频（F0，FM）。
• 利用谱分析技术从每种信号类型的LTS中提取R-formants，以检测高振幅频率区域。
• 对AM、AEM与FM中的R-formants进行相关性分析，以评估其在不同表示形式间的一致性。
• 实证分析聚焦于非诱发的公开语篇片段，以评估其在真实场景中的适用性。
• 非正式分析将R-formant模式与句子结构及强调、语调等语用特征关联。

实验结果

研究问题

• RQ1 能否在自发语篇的长期谱中可靠识别出独特的低频谱峰（R-formants）？
• RQ2 R-formants在不同信号表示形式（调幅（AM）、包络调制（AEM）及基频（F0，FM））之间如何相关？
• RQ3 R-formant模式在多大程度上与口语句子的结构与语用特征一致？
• RQ4 为何F0（音高）信号与R-formants的相关性不如AM与AEM稳定？
• RQ5 R-formants在语音节奏与语调中可能发挥何种功能角色？

主要发现

• 节奏形式共振峰（R-formants）在语音长期谱（LTS）中可稳定识别为高振幅频率区域。
• 调幅（AM）绝对信号与包络调制（AEM）的LTS之间表现出强相关性，表明其共享节奏结构。
• 基频（F0，FM）信号与AM或AEM之间未表现出一致的相关性，可能由于语调、音高重音与语调变化的差异。
• 仅使用AM信号的LTS进行实证分析，因其R-formant检测结果稳定可靠。
• 非正式分析揭示了R-formant模式与句子结构及强调、分句等语用特征之间的趋势关联。
• 结果表明，R-formants可能作为语音节奏的稳健、可量化的标记，具有在语调与语言分析中应用的潜力。