[论文解读] Similarity Embedding Network for Unsupervised Sequential Pattern Learning by Playing Music Puzzle Games.

Yu-Siang Huang, Szu-Yu Chou+1 more|arXiv (Cornell University)|Sep 13, 2017

Music and Audio Processing参考文献 24被引用 1

一句话总结

本文提出相似性嵌入网络（SEN），一种自监督的孪生卷积网络，通过在音乐拼图游戏任务上进行训练，学习序列化音乐模式——即对多秒音频片段进行正确排序。SEN改进了帧级相似性嵌入，以更好地识别连续且顺序正确的片段对，在音乐拼图、排序和混音任务中均优于基线模型。

ABSTRACT

Generating music medleys is about finding an optimal permutation of a given set of music clips. Toward this goal, we propose a self-supervised learning task, called the music puzzle game, to train neural network models to learn the sequential patterns in music. In essence, such a game requires machines to correctly sort a few multisecond music fragments. In the training stage, we learn the model by sampling multiple non-overlapping fragment pairs from the same songs and seeking to predict whether a given pair is consecutive and is in the correct chronological order. For testing, we design a number of puzzle games with different difficulty levels, the most difficult one being music medley, which requiring sorting fragments from different songs. On the basis of state-of-the-art Siamese convolutional network, we propose an improved architecture that learns to embed frame-level similarity scores computed from the input fragment pairs to a common space, where fragment pairs in the correct order can be more easily identified. Our result shows that the resulting model, dubbed as the similarity embedding network (SEN), performs better than competing models across different games, including music jigsaw puzzle, music sequencing, and music medley. Example results can be found at our project website, this https URL.

研究动机与目标

• 解决在无人工标注对齐的情况下学习音乐中序列模式的挑战。
• 开发一种自监督学习框架，使模型能够从音频片段中推断时间顺序。
• 通过在可控且渐进难度的拼图游戏中进行训练，改进音乐混音生成的表征学习。
• 设计一种神经架构，有效将帧级相似性得分嵌入共享空间，以提升序列预测性能。
• 在多个复杂度递增的任务上评估模型，从简单的片段配对到完整的音乐混音重建。

提出的方法

• 该模型使用孪生卷积网络架构来处理音频片段对。
• 在训练过程中，网络被优化以预测采样得到的一对非重叠片段是否为连续且顺序正确的片段对。
• 计算片段对之间的帧级相似性得分，并通过学习到的变换将其嵌入共享潜在空间。
• 优化嵌入空间，使得顺序正确且连续的片段对在该空间中比非连续或顺序颠倒的对更容易被识别。
• 使用对比损失端到端训练模型，以区分正确的与错误的片段排序。
• 测试包含多种拼图游戏变体，其中最复杂的是音乐混音任务，需将来自不同歌曲的片段重新排序。

实验结果

研究问题

• RQ1 通过音乐拼图游戏进行自监督学习，能否有效训练模型学习音乐中的序列模式？
• RQ2 与标准孪生网络相比，所提出的相似性嵌入机制在识别正确片段排序方面改善程度如何？
• RQ3 所学表征在不同难度级别的任务中（从简单排序到复杂混音重建）的泛化能力如何？
• RQ4 该模型在序列化音乐模式学习任务中是否优于现有的无监督或弱监督方法？
• RQ5 该模型能否在无显式段落顺序监督的情况下学习到音乐中具有意义的时间结构？

主要发现

• 所提出的相似性嵌入网络（SEN）在所有评估任务中均表现优异：音乐拼图、音乐排序和音乐混音。
• SEN在识别音频片段正确时间顺序方面优于竞争模型，尤其在复杂且高难度的设置下表现更佳。
• 自监督的音乐拼图游戏任务能有效训练模型学习音乐中具有意义的序列模式，且无需人工标注的顺序标签。
• 帧级相似性嵌入机制显著提升了模型在共享嵌入空间中区分正确与错误片段配对的能力。
• 该模型在不同难度级别的拼图游戏任务中表现出良好的泛化能力，展现出鲁棒性与可扩展性。
• 示例结果（包括成功的混音重建）已公开发布于项目官网。