[论文解读] Neural Granular Sound Synthesis

Adrien Bitton, Philippe Esling+1 more|arXiv (Cornell University)|Aug 4, 2020

Music Technology and Sound Studies被引用 5

一句话总结

本文提出了一种神经粒状声音合成方法，用变分自编码器（VAE）学习的潜在空间替代传统的音频描述符，实现了连续、可逆的合成与结构化的时序建模。通过学习可微分的生成性颗粒空间及高层时序嵌入，该模型支持新型合成模式，如条件采样、形态变换和跨多种声音类型的高感知质量实时音频生成。

ABSTRACT

Granular sound synthesis is a popular audio generation technique based on rearranging sequences of small waveform windows. In order to control the synthesis, all grains in a given corpus are analyzed through a set of acoustic descriptors. This provides a representation reflecting some form of local similarities across the grains. However, the quality of this grain space is bound by that of the descriptors. Its traversal is not continuously invertible to signal and does not render any structured temporality. We demonstrate that generative neural networks can implement granular synthesis while alleviating most of its shortcomings. We efficiently replace its audio descriptor basis by a probabilistic latent space learned with a Variational Auto-Encoder. In this setting the learned grain space is invertible, meaning that we can continuously synthesize sound when traversing its dimensions. It also implies that original grains are not stored for synthesis. Another major advantage of our approach is to learn structured paths inside this latent space by training a higher-level temporal embedding over arranged grain sequences. The model can be applied to many types of libraries, including pitched notes or unpitched drums and environmental noises. We report experiments on the common granular synthesis processes as well as novel ones such as conditional sampling and morphing.

研究动机与目标

• 为克服传统粒状合成中的局限性，如颗粒空间不可逆及依赖手工设计的声学描述符。
• 通过VAE从原始颗粒中学习概率潜在空间，实现连续、可微分的合成。
• 通过高层序列嵌入建模颗粒序列中的结构化时序动态，实现富有表现力的音频生成。
• 在不存储原始颗粒的前提下，支持多种合成任务，如重合成、形态变换和条件采样。
• 实现高保真度的音频重建与适用于音乐创作和交互系统的实时生成。

提出的方法

• 在音频语料中提取的颗粒上训练变分自编码器（VAE），以学习连续、可逆的潜在空间，表示颗粒的声学特性。
• VAE的潜在空间支持连续合成：潜在空间中的任意点均可解码为新颖且逼真的颗粒波形。
• 通过在颗粒特征序列上训练独立的序列模型（时序嵌入），学习潜在空间中结构化且时序一致的轨迹。
• 通过将VAE解码器条件化于用户定义的目标（如音高、乐器类别或目标信号特征），实现条件生成。
• 通过采样潜在路径（如线性、圆形、螺旋）并使用重叠相加法拼接解码颗粒，实现自由合成。
• 通过GPU上的优化推理实现实时合成，并通过OSC接口集成至Max/MSP等交互环境。

实验结果

研究问题

• RQ1 深度生成模型能否在实现连续、可逆合成的同时，替代粒状合成中的手工声学描述符？
• RQ2 分层潜在空间模型能否在不依赖真实信号对齐的情况下，从颗粒序列中学习结构化的时序动态？
• RQ3 该模型能否在包括有音高音符、无音高军鼓及环境声音在内的多样化声音类型上实现泛化？
• RQ4 与基线方法相比，该模型在数据驱动的重合成、形态变换和条件音频生成方面的表现如何？
• RQ5 该模型能否实现实时、交互式音频合成，并对音色和时序演化实现富有表现力的控制？

主要发现

• 该模型在多样化数据集上实现了最先进的重建质量，在Studio-On-Line ordinario数据集上的RMSE为4.86，LSD为1.17。
• 在8 Drums数据集上，模型的RMSE为2.79，LSD为0.52，表现出在无音高、脉冲丰富的声音上的强大性能。
• 通过连续潜在空间遍历（包括线性、圆形和螺旋路径），实现了平滑且感知一致的音频合成。
• 基于音高和乐器类别的条件采样支持富有表现力的定向重合成与音色迁移。
• 通过在潜在空间中插值，实现了不同音色类别之间的形态变换，生成自然流畅的过渡效果。
• 模型支持实时音频生成，推理速度为每轮约0.54–2.87秒，适用于交互式应用。