[论文解读] The analysis of Acoustic Phonetic Data: exploring differences in the spoken Romance languages

Davide Pigoli, Pantelis Z. Hadjipantelis+2 more|arXiv (Cornell University)|Jul 27, 2015

Speech Recognition and Synthesis被引用 4

一句话总结

本文提出一种基于对数倒谱图的统计语音音系建模方法，用于分析五种 Romance 语言之间的语音变异。通过将语言特异性协方差结构与词相关均值分离，该方法建模了跨语言的语音转换，并实现了对说话者在不同语言中发音样貌的听觉重建，方法通过数字发音进行了验证。

ABSTRACT

The process of change, particularly understanding the historical and geographical spread, from older to modern languages has long been studied from the point of view of textual changes and phonetic transcriptions. However, it is somewhat more difficult to analyze these from an acoustic point of view, although this is likely to be the dominant method of transmission rather than through written records. Here, we propose a novel approach to the analysis of acoustic phonetic data, where the aim will be to model statistically speech sounds. In particular, we explore phonetic variation and change using a time-frequency representation, namely the log-spectrograms of speech recordings. After preprocessing the data to remove inherent individual differences, we identify time and frequency covariance functions as a feature of the language; in contrast, the mean depends mostly on the particular word that has been uttered. We build models for the mean and covariances (taking into account the restrictions placed on the statistical analysis of such objects) and use this to define a phonetic transformation that allows us to model how an individual speaker would sound in a different language, allowing the exploration of phonetic differences between languages. Finally, we map back these transformations to the domain of sound recordings, allowing us to listen to statistical analysis. The proposed approach is demonstrated using the recordings of the words corresponding to the numbers from one to ten as pronounced by speakers from five different Romance languages.

研究动机与目标

• 开发一种统计框架，用于分析口语罗曼语族语言之间的语音音系变异。
• 从语音录音中的说话人特异性和词特异性变异中分离出语言特异性语音模式。
• 建模能够模拟说话者在不同罗曼语族语言中发音样貌的语音转换。
• 将统计转换映射回可听声音，以增强可解释性并进行验证。
• 通过五种罗曼语族语言的数字词录音，验证该方法。

提出的方法

• 该方法使用从语音录音中提取的时间-频率表示形式，即对数倒谱图。
• 对数据进行预处理，以去除个体说话人的特异性特征，聚焦于语言层面的模式。
• 将语言特异性协方差函数作为特征建模，而将词特异性均值单独处理。
• 为均值和协方差分量分别构建统计模型，同时尊重协方差矩阵的数学约束。
• 基于建模的语言特异性协方差和均值差异，定义语音转换。
• 对转换进行反演，以重建可听语音信号，从而实现对统计发现的听觉评估。

实验结果

研究问题

• RQ1 如何利用倒谱图对罗曼语族语言间的语音音系变异进行统计建模？
• RQ2 语音中的语言特异性协方差结构在多大程度上区别于个体或词特异性变异？
• RQ3 统计语音转换能否模拟某位罗曼语族说话者在另一种语言中的发音效果？
• RQ4 该模型在多大程度上能重建跨语言发音中具有感知意义的差异？
• RQ5 时频表示在捕捉跨语言语音差异方面起到何种作用？

主要发现

• 对数倒谱图域中的语言特异性协方差函数能够捕捉罗曼语族语言之间独立于个体说话人或特定词汇的语音模式。
• 倒谱图的均值主要由所发音的词决定，而协方差结构则反映了语言特异性的语音特征。
• 所提出的统计模型成功生成了能够将说话者的声音转换为听起来像在另一种罗曼语族语言中发音的语音转换。
• 对转换结果进行听觉重建，使研究人员能够聆听并验证所建模的语音差异。
• 该方法通过数字词发音作为测试案例，展示了五种罗曼语族语言之间的一致性语音差异。
• 该方法实现了基于声学数据的系统性、数据驱动的语音变化与变异跨语言探索。