[论文解读] One Deep Music Representation to Rule Them All? : A comparative analysis of different representation learning strategies

Jaehun Kim, Julián Urbano+2 more|arXiv (Cornell University)|Feb 12, 2018

Music and Audio Processing参考文献 63被引用 5

一句话总结

本文通过在多样化的学习源和架构上训练425个模型，研究了用于音乐表征学习的多任务深度迁移学习。研究发现，增加学习源的数量可提升表征的有效性，而最小化架构共享（例如MS-CR@2）相较于高度共享的设计能获得更优性能，表明解耦的、源特定的特征学习可增强音乐表征学习中的泛化能力。

ABSTRACT

Inspired by the success of deploying deep learning in the fields of Computer Vision and Natural Language Processing, this learning paradigm has also found its way into the field of Music Information Retrieval. In order to benefit from deep learning in an effective, but also efficient manner, deep transfer learning has become a common approach. In this approach, it is possible to reuse the output of a pre-trained neural network as the basis for a new learning task. The underlying hypothesis is that if the initial and new learning tasks show commonalities and are applied to the same type of input data (e.g. music audio), the generated deep representation of the data is also informative for the new task. Since, however, most of the networks used to generate deep representations are trained using a single initial learning source, their representation is unlikely to be informative for all possible future tasks. In this paper, we present the results of our investigation of what are the most important factors to generate deep representations for the data and learning tasks in the music domain. We conducted this investigation via an extensive empirical study that involves multiple learning sources, as well as multiple deep learning architectures with varying levels of information sharing between sources, in order to learn music representations. We then validate these representations considering multiple target datasets for evaluation. The results of our experiments yield several insights on how to approach the design of methods for learning widely deployable deep data representations in the music domain.

研究动机与目标

• 探究不同学习源组合如何影响深度音乐表征的质量。
• 评估架构共享程度对多种音乐任务中表征性能的影响。
• 识别在音乐信息检索中学习通用性强且语义可解释的深度表征的策略。
• 探索为多样化音乐任务创建单一广泛适用的深度表征的可行性。
• 为设计高效可迁移的音乐表征模型提供实证洞察。

提出的方法

• 作者训练了425个深度神经网络模型，采用不同组合的学习源，包括流派、BPM和基于音频的任务。
• 他们采用了多种架构，其参数共享程度各不相同，从完全共享（MS-SR@FC）到最小共享（MS-CR@2）。
• 每个模型均使用多任务深度迁移学习（MTDTL）框架，在多个与音乐相关的任务上进行预训练。
• 在包括Ballroom、GTZAN在内的多个下游数据集上评估了表征的有效性。
• 通过分析最终全连接层的顶级预测主题，探索了语义可解释性，将学习到的特征与人类可理解的音乐概念相联系。
• 模型通过端到端反向传播和交叉熵损失进行训练，性能通过目标任务上的top-1准确率和mAP进行衡量。

实验结果

研究问题

• RQ1 学习源的数量和组合如何影响深度音乐表征的有效性？
• RQ2 架构共享程度在多大程度上影响学习表征的性能？
• RQ3 是否可以创建一个在多样化音乐任务中均有效的单一深度表征，其适用条件是什么？
• RQ4 在多大程度上可利用原始学习源对学习到的表征进行语义解释？
• RQ5 单源预训练的表征与多源、多任务预训练的表征相比如何？

主要发现

• 增加学习源的数量可提升深度音乐表征的有效性，多源模型优于单源基线模型。
• 采用最小架构共享的模型（如MS-CR@2和MSS-CR）取得了最高性能，表明减少参数共享可增强表征质量。
• 高度共享的架构（如MS-SR@FC和MS-CR@6）表现不如共享程度较低的模型，表明当信息共享限制了特定任务的特征学习时，其可能产生负面影响。
• 基础模型（SS-R）在单源上预训练，仍可在BPM估计和Ballroom流派分类等专用任务上取得强劲表现。
• 模型最终全连接层显示出语义可解释性的潜力，因其可预测与人类可理解的音乐特征相关的有意义的主题分布。
• 本研究证明，多任务深度迁移学习可生成有效且通用的表征，但性能对架构设计和源选择高度敏感。