[论文解读] Self-supervised restoration of singing voice degraded by pitch shifting using shallow diffusion

Yunyi Liu, Taketo Akama|arXiv (Cornell University)|Jan 15, 2026

Music and Audio Processing被引用 0

一句话总结

本文将音高移位框架化为一种恢复问题，使用以梅尔空间为基础的浅层扩散模型，条件化在 f0、音量和内容特征上，以在保留音高的同时去除基于 WORLD 的音高移位所产生的伪影。与经典基线相比，在未见歌唱数据上的恢复质量更高。

ABSTRACT

Pitch shifting has been an essential feature in singing voice production. However, conventional signal processing approaches exhibit well known trade offs such as formant shifts and robotic coloration that becomes more severe at larger transposition jumps. This paper targets high quality pitch shifting for singing by reframing it as a restoration problem: given an audio track that has been pitch shifted (and thus contaminated by artifacts), we recover a natural sounding performance while preserving its melody and timing. Specifically, we use a lightweight, mel space diffusion model driven by frame level acoustic features such as f0, volume, and content features. We construct training pairs in a self supervised manner by applying pitch shifts and reversing them to simulate realistic artifacts while retaining ground truth. On a curated singing set, the proposed approach substantially reduces pitch shift artifacts compared to representative classical baselines, as measured by both statistical metrics and pairwise acoustic measures. The results suggest that restoration based pitch shifting could be a viable approach towards artifact resistant transposition in vocal production workflows.

研究动机与目标

• 通过恢复伪影来提升高质量音高移位的动机，而不是从头重新合成。
• 开发一个以帧级声学特征为条件的轻量级扩散去噪器。
• 通过自监督的降级-真实对进行训练，实现源无关的音高移位。
• 在多样歌唱数据集上评估与经典音高移位基线的恢复质量。

提出的方法

• 使用 WORLD 音栈器通过前向和后向音高移位来创建降级音高配对数据。
• 在梅尔谱空间训练一个浅层 DDPM（20 层时序 U-Net），以 f0、音量和 ContentVec 特征为条件。
• 用扩散损失 plus 辅助梅尔和 f0 重建损失（L1）进行优化。
• 推断阶段用类似 DDIM 的采样对伪影梅尔谱进行去噪，并通过 NSF-HiFiGAN 风格的音栈器重建波形。
• 在多语言歌唱数据集上训练，以促进跨语言/泛化能力。

实验结果

研究问题

• RQ1 一个浅层扩散模型是否能够在不重新估计音高的情况下从音高移位伪影中恢复自然歌唱音色？
• RQ2 以 f0、音量和内容特征进行条件化，是否能够在未见歌手上稳定音高与音色？
• RQ3 在分布性和成对指标上，基于恢复的音高移位与经典和扩散基线相比的表现如何？
• RQ4 基于 WORLD 的先验是否有益于鲁棒的、源无关的音高移位？
• RQ5 自监督降级配对对学习音高移位伪影的恢复有何影响？

主要发现

• 我们的方法在未见数据上的分布性和频谱保真度指标优于基线。
• 我们的方法在对比系统中获得最低的 Frechet 音频距离（FAD）、Kernel Inception Distance（KID）和最大均值差异（MMD）。
• 音高精度和发声判定显著改善，与其他方法相比具有更低的 F0 RMSE 和 V/UV 误差。
• WORLD 作为可靠音高控制的必要先验，浅层扩散模型聚焦于伪影去除而非音高估计。
• 该方法在多语言和不同歌唱风格上表现出强大性能，指示良好的跨领域泛化能力。