[论文解读] Wavelet Scattering on the Pitch Spiral

Vincent Lostanlen, Stéphane Mallat|arXiv (Cornell University)|Jan 3, 2016

Image and Signal Denoising Methods参考文献 10被引用 14

一句话总结

本文提出了螺旋散射变换（spiral scattering transform），一种基于小波的表示方法，通过利用音高螺旋结构（其中对数频率被卷成螺旋形并以八度索引），实现了对谐波声音中音高和频谱包络动态的线性化。通过在时间、音高（对数频率）和八度索引上级联小波变换，并应用模值非线性，该方法实现了对音高滑动和音色变化的稳定且解耦的表示，并为非平稳谐波信号提供了闭式近似。

ABSTRACT

We present a new representation of harmonic sounds that linearizes the dynamics of pitch and spectral envelope, while remaining stable to deformations in the time-frequency plane. It is an instance of the scattering transform, a generic operator which cascades wavelet convolutions and modulus nonlinearities. It is derived from the pitch spiral, in that convolutions are successively performed in time, log-frequency, and octave index. We give a closed-form approximation of spiral scattering coefficients for a nonstationary generalization of the harmonic source-filter model.

研究动机与目标

• 解决在无需检测或训练的情况下表示音频中时变谐波结构的挑战。
• 克服现有方法（如MFCC和CQT）在时频变形下无法捕捉全局谐波规律的局限性。
• 利用音高螺旋的几何结构，对齐不同八度间的谐波分量，揭示时频平面上隐藏的规律性。
• 开发一种散射变换，实现对时变音高与频谱包络调制的线性化，同时保持对微小形变的不变性。
• 为具有音高和音色时间扭曲的非平稳源-滤波器模型推导出螺旋散射系数的闭式近似。

提出的方法

• 通过将对数频率映射到螺旋流形上定义音高螺旋，使八度间隔对应完整旋转，从而沿径向线对齐谐波分量。
• 构建三级小波散射变换：首先将信号与时间局部化的小波卷积并取模；其次将结果与沿音高（对数频率）的小波卷积；最后与八度索引上的小波卷积。
• 使用具有恒定Q特性的滤波器，以在不同尺度上保持频率分辨率，确保对微小时间扭曲的稳定性。
• 在每次卷积后应用复数模值以引入非线性，并增强对形变的稳定性。
• 通过将信号建模为具有音高扭曲（$\theta(t)$）和频谱包络扭曲（$\eta(t)$）的非平稳源-滤波器模型，推导出螺旋散射系数的闭式近似。
• 表明所得系数可将音高滑动的动力学（$\ddot{\theta}/\dot{\theta}$）与频谱包络变化的动力学（$\ddot{\eta}/\dot{\eta}$）分离，其瞬时频率可通过小波响应的傅里叶分析捕捉。

实验结果

研究问题

• RQ1 如何对谐波声音进行表示，以实现对时变音高与频谱包络动态的线性化？
• RQ2 能否利用音高螺旋几何结构，从在标准时频表示中看似不规则的谐波信号中恢复其规律性？
• RQ3 螺旋散射变换在诸如震音或滑音等时频形变下，其稳定性在多大程度上得以保持？
• RQ4 能否为具有时间扭曲的非平稳源-滤波器模型推导出螺旋散射系数的闭式表达式？
• RQ5 在散射表示中，音高与频谱包络调制在多大程度上实现了分离？

主要发现

• 螺旋散射变换通过利用音高螺旋的几何结构，成功实现了对谐波声音中音高与频谱包络动态的线性化。
• 由于恒定Q小波特性和模值非线性，该方法对微小时间扭曲（如震音、震音颤动）具有稳定性。
• 对于具有非平稳源-滤波器模型和时间扭曲的螺旋散射系数，其闭式近似由公式（21）给出，该公式将音高与音色调制的贡献明确分离。
• 音高滑动的瞬时频率表示为$-\beta \ddot{\theta}(t)/\dot{\theta}(t)$，频谱包络变化的瞬时频率表示为$-\gamma \ddot{\eta}(t)/\dot{\eta}(t)$，从而实现有效解耦。
• 图3表明，螺旋散射系数能清晰区分小号信号中的起音（音高与亮度上升）和释放（音高与亮度下降）阶段，能量集中在系数空间的不同区域。