[论文解读] Neural separation of observed and unobserved distributions

Tavi Halperin, Ariel Ephrat+1 more|arXiv (Cornell University)|Nov 30, 2018

Speech and Audio Processing被引用 10

一句话总结

该论文提出神经蛋分离（Neural Egg Separation, NES），一种新颖的半监督方法，用于从已知观测分布与未知未观测分布混合的信号中进行分离。通过迭代优化未观测信号的估计，并利用潜在混合掩码（Latent Mixture Masking, LMM）实现鲁棒初始化，NES 在音频和图像分离任务中实现了与全监督基线相当的性能，且对信号结构的假设极少。

ABSTRACT

Separating mixed distributions is a long standing challenge for machine learning and signal processing. Most current methods either rely on making strong assumptions on the source distributions or rely on having training samples of each source in the mixture. In this work, we introduce a new method---Neural Egg Separation---to tackle the scenario of extracting a signal from an unobserved distribution additively mixed with a signal from an observed distribution. Our method iteratively learns to separate the known distribution from progressively finer estimates of the unknown distribution. In some settings, Neural Egg Separation is initialization sensitive, we therefore introduce Latent Mixture Masking which ensures a good initialization. Extensive experiments on audio and image separation tasks show that our method outperforms current methods that use the same level of supervision, and often achieves similar performance to full supervision.

研究动机与目标

• 解决在训练期间仅可访问观测源分布而无法访问未观测源分布时的混合信号分离挑战。
• 减少在源分离任务中对强假设或全监督的依赖。
• 开发一种通过迭代改进未观测信号分布估计以提升分离准确率的方法。
• 为对初始化敏感的迭代方法提供一种强大且可靠的初始化。

提出的方法

• NES采用迭代框架：首先估计来自未观测分布 X 的样本，然后利用已知的 B 和估计的 X 合成混合信号，最后在这些合成混合信号上训练分离函数。
• 该方法端到端地训练两个深度生成器，以建模观测（B）和未观测（X）源分布，使用潜在混合。
• 引入潜在混合掩码（Latent Mixture Masking, LMM）作为非对抗性初始化技术，以提升收敛性和性能，尤其在 B 与 X 相关时效果更显著。
• 迭代优化过程随时间减少误差，收敛性取决于混合掩码的泛化能力以及初始估计的质量。
• 混合掩码 m^t+1 在合成混合信号 Y^t = b + x^t 上进行训练，其泛化误差受因子 λ 限制，该因子取决于 m^t+1 对真实 Y 分布的泛化能力。
• 该方法假设混合为加法性，且无需事先了解信号特定属性（如稀疏性或周期性）的知识。

实验结果

研究问题

• RQ1 在监督信息有限的半监督设置下，对未观测信号估计进行迭代优化能否提升源分离性能？
• RQ2 初始化质量如何影响迭代源分离方法的收敛性和性能？
• RQ3 与对抗性方法相比，非对抗性初始化方法（如LMM）在稳定性与最终性能方面是否表现更优？
• RQ4 在对信号结构假设极少的情况下，该方法在多大程度上可实现与全监督基线相当的性能？
• RQ5 混合掩码的泛化误差与迭代分离过程收敛速度之间存在何种理论关系？

主要发现

• 神经蛋分离（NES）在音频和图像分离任务中，优于使用相同监督水平的现有方法。
• 该方法即使仅需访问观测分布的干净样本和混合信号，也能经常实现与全监督基线相当的性能。
• 潜在混合掩码（LMM）提供的初始化显著优于对抗性方法，尤其在观测信号与未观测信号高度相关时。
• 迭代优化过程使误差随迭代次数减少，收敛性取决于混合掩码的泛化能力与初始化质量。
• LMM 初始化降低了 λ 值（泛化误差的度量），并扩大了收敛半径，从而解释了其有效性。
• 该方法对信号特定先验具有鲁棒性，且通过引入任务特定约束（如稀疏性或平滑性）可进一步提升性能。