[论文解读] Vocal Tract Area Estimation by Gradient Descent

David Südholt, Mateo Cámara+2 more|arXiv (Cornell University)|Jul 10, 2023

Speech and Audio ProcessingComputer Science被引用 3

一句话总结

本文提出一种白盒、基于梯度的优化方法，从音频中估计声道截面面积函数和声门激励参数，实现了在Pink Trombone发音合成器中精确的声音匹配。通过将误差梯度反向传播通过可微分的声道模型，该方法在主观听音测试中优于遗传算法和神经网络等黑盒基线方法。

ABSTRACT

Articulatory features can provide interpretable and flexible controls for the synthesis of human vocalizations by allowing the user to directly modify parameters like vocal strain or lip position. To make this manipulation through resynthesis possible, we need to estimate the features that result in a desired vocalization directly from audio recordings. In this work, we propose a white-box optimization technique for estimating glottal source parameters and vocal tract shapes from audio recordings of human vowels. The approach is based on inverse filtering and optimizing the frequency response of a wave\-guide model of the vocal tract with gradient descent, propagating error gradients through the mapping of articulatory features to the vocal tract area function. We apply this method to the task of matching the sound of the Pink Trombone, an interactive articulatory synthesizer, to a given vocalization. We find that our method accurately recovers control functions for audio generated by the Pink Trombone itself. We then compare our technique against evolutionary optimization algorithms and a neural network trained to predict control parameters from audio. A subjective evaluation finds that our approach outperforms these black-box optimization baselines on the task of reproducing human vocalizations.

研究动机与目标

• 开发一种可微分的、白盒优化方法，用于从音频记录中估计发音参数。
• 通过Pink Trombone发音合成器实现人类语音的精确声音匹配。
• 克服黑盒方法（如遗传算法和神经网络）在收敛速度和可解释性方面的局限性。
• 证明基于梯度的优化能够有效恢复时变语音的控制参数。
• 为使用神经网络实现端到端可微分发音合成奠定基础。

提出的方法

• 该方法使用反滤波从目标音频中分离出声门激励波形和声道的全极点滤波器响应。
• 基于截面面积函数解析地表述声道的传递函数，并使用梯度下降最小化该函数与估计滤波器之间的差异。
• 通过将发音控制参数到声道截面面积函数的映射实现可微分，从而实现误差梯度向参数的反向传播。
• 优化过程按帧进行，利用前一帧的解进行初始化，以确保时间上的连续性。
• 该方法应用于Pink Trombone合成器，该合成器基于物理原理建模声门激励和声道。
• 作为对比，黑盒基线方法包括遗传算法、粒子群优化以及基于CNN的神经网络参数预测模型。

Figure 1: The user interface of the Pink Trombone articulatory synthesizer.

实验结果

研究问题

• RQ1 基于梯度的优化方法是否能在无需标注训练数据的情况下，有效从音频中恢复声道截面面积函数？
• RQ2 白盒、可微分优化方法与黑盒基线方法相比，在重现人类语音方面表现如何？
• RQ3 该方法能否准确估计动态语音的时变发音参数？
• RQ4 基于梯度的优化是否能产生比进化算法或基于神经网络的方法更符合听觉感知的再现效果？
• RQ5 该方法能否扩展至使用神经网络实现端到端可微分发音合成？

主要发现

• 所提出的基于梯度的方法能准确恢复由Pink Trombone合成器自身生成的音频的声道截面面积函数。
• 在主观听音测试中，该方法显著优于所有黑盒基线方法，其评分显著高于遗传算法、粒子群优化以及训练好的CNN（p < 0.001）。
• 该方法在无需任何训练数据或模型微调的情况下，实现了卓越的感知质量。
• 采用逐帧初始化和梯度传播，确保了时变语音的平滑、时间一致的参数轨迹。
• Friedman检验确认了不同方法在感知质量上的显著差异（p < 0.001），事后检验进一步证实了基于梯度方法的优越性。
• 结果表明，使用可微分物理模型进行发音合成中的反向声学建模是可行的。

Figure 2: Illustration of the proposed sound matching method. Target audio is inverse filtered to obtain a source waveform and the transfer function of a filter. For resynthesis, the glottal control parameters $F_{0}$ and Tenseness are estimated from the source waveform. The vocal tract area functio