[论文解读] SoundNet: Learning Sound Representations from Unlabeled Video

Yusuf Aytar, Carl Vondrick+1 more|arXiv (Cornell University)|Oct 27, 2016

Music and Audio Processing参考文献 29被引用 233

一句话总结

SoundNet 在原始音频上训练深度卷积网络，通过使用未标记视频作为桥梁，将视觉知识转移到音频，在声学场景分类数据集上达到最新水平，并且证明更深的网络受益于大规模未标记视频，且学习的声音表征编码高层语义。

ABSTRACT

We learn rich natural sound representations by capitalizing on large amounts of unlabeled sound data collected in the wild. We leverage the natural synchronization between vision and sound to learn an acoustic representation using two-million unlabeled videos. Unlabeled video has the advantage that it can be economically acquired at massive scales, yet contains useful signals about natural sound. We propose a student-teacher training procedure which transfers discriminative visual knowledge from well established visual recognition models into the sound modality using unlabeled video as a bridge. Our sound representation yields significant performance improvements over the state-of-the-art results on standard benchmarks for acoustic scene/object classification. Visualizations suggest some high-level semantics automatically emerge in the sound network, even though it is trained without ground truth labels.

研究动机与目标

• 利用大规模未标记视频来学习语义化的声音表征。
• 通过学生-教师框架将判别性的视觉知识转移到音频领域。
• 证明在原始音频上训练的深度全卷积网络在声学场景/物体分类任务中的有效性。

提出的方法

• 采用学生-教师设置，其中视觉网络通过 gk(y_i) 与 fk(x_i; θ) 之间的 KL 散度来监督 SoundNet 音频网络。
• 在原始音频波形上训练深度全卷积网络，以处理可变长度输入。
• 采用两阶段训练：从场景/对象网络进行视觉转移，然后通过内部的 SoundNet 表征与线性 SVM 进行音频分类。
• 处理来自 Flickr 的超过 200 万个未标记视频，转换为 22 kHz 单声道音频，并使用 Adam 优化器训练。
• 对八层和五层 SoundNet 架构进行实验，以研究深度效应。
• 可视化学习得到的过滤器和隐藏单元，以解释在 SoundNet 中出现的高层语义检测器。

实验结果

研究问题

• RQ1 能否通过视觉到音频的转移，利用大规模未标记视频得到语义丰富的音频表征？
• RQ2 从对象和场景的视觉模型进行转移是否能提升对声音的理解？
• RQ3 在使用未标记视频监督进行训练时，网络深度如何影响性能？

主要发现

• SoundNet 在声学场景分类基准（如 DCASE、ESC-50、ESC-10）上使用未标记视频学习的特征实现了最先进的准确性。
• 八层 SoundNet 通过视觉转移显著优于五层版本和基线方法，表明在未标记视频监督下深度具有收益。
• 使用 KL-divergence 进行监督（而非 L2）并结合 ImageNet 与 Places 作为教师能提升性能。
• SoundNet 特征在与仅视觉特征相比时提供了有竞争力的准确性，且与视觉特征联合在多模态任务上实现适度提升。
• 可视化显示学习到的过滤器覆盖多种频率，隐藏单元捕捉到鸟鸣、群众欢呼等高层音频概念。