[论文解读] Multimodal Transfer Deep Learning with Applications in Audio-Visual Recognition

Seungwhan Moon, Suyoun Kim+1 more|arXiv (Cornell University)|Dec 9, 2014

Speech and Audio Processing参考文献 13被引用 29

一句话总结

本论文提出了一种多模态迁移深度学习框架，通过中间层嵌入将预训练音频网络的知识迁移至视频识别网络，从而在低资源视频任务中实现性能提升。该方法通过使用KNN-based嵌入迁移在较高网络层进行微调，显著提升了唇读基准测试的准确率。

ABSTRACT

We propose a transfer deep learning (TDL) framework that can transfer the knowledge obtained from a single-modal neural network to a network with a different modality. Specifically, we show that we can leverage speech data to fine-tune the network trained for video recognition, given an initial set of audio-video parallel dataset within the same semantics. Our approach first learns the analogy-preserving embeddings between the abstract representations learned from intermediate layers of each network, allowing for semantics-level transfer between the source and target modalities. We then apply our neural network operation that fine-tunes the target network with the additional knowledge transferred from the source network, while keeping the topology of the target network unchanged. While we present an audio-visual recognition task as an application of our approach, our framework is flexible and thus can work with any multimodal dataset, or with any already-existing deep networks that share the common underlying semantics. In this work in progress report, we aim to provide comprehensive results of different configurations of the proposed approach on two widely used audio-visual datasets, and we discuss potential applications of the proposed approach.

研究动机与目标

• 解决多模态学习中的数据不平衡问题，即标注音频数据丰富但视频数据稀缺。
• 在目标模态无需并行数据的情况下，实现从源模态（音频）到目标模态（视频）的知识迁移。
• 开发一种灵活的框架，可在不重新训练或改变网络架构的前提下微调目标网络的拓扑结构。
• 证明跨模态迁移深层网络中间层语义表示的有效性。
• 在真实世界的音视频数据集上评估该框架，展示在低资源设置下的性能提升。

提出的方法

• 使用少量并行音视频数据集，学习音频和视频神经网络中间层表示（H_A^(i) 和 H_V^(i))之间的保类比嵌入。
• 应用三种嵌入方法——KNN、NCCA 和 SVR，将音频特征映射到视频网络隐藏层的语义空间。
• 通过TDLFT(i)从第i层开始，利用迁移后的音频数据对目标视频网络（N_V）进行微调，同时保持原始网络架构不变。
• 采用两阶段训练流程：首先在并行数据上预训练音频和视频网络，然后使用迁移后的音频特征对视频网络进行迁移和微调。
• 应用TDLFT(i)选择性地从第i层开始微调网络层，其中i=0（输入层）到i=3（中间层），以评估迁移深度的影响。
• 在AV-Letters和Stanford唇读数据集上使用5折交叉验证评估性能，并与单模态、TDL和oracle基线进行比较。

实验结果

研究问题

• RQ1 当视频数据稀缺时，能否有效将预训练音频网络的知识迁移至视频识别网络？
• RQ2 哪种嵌入方法（KNN、NCCA、SVR）在跨模态迁移中能实现音频与视频表示之间最有效的语义对齐？
• RQ3 在哪个网络层应用知识迁移可使目标模态的性能增益最大化？
• RQ4 所提出的TDL框架性能与单模态基线和oracle上界相比如何？
• RQ5 与原始输入相比，从中间层迁移表示是否能在低资源目标任务中带来更好的泛化能力？

主要发现

• 在AV-Letters数据集上，采用KNN-based嵌入迁移并在第3层进行微调的TDLFT(3)方法达到了61.7%的准确率，显著优于单模态基线的51.1%。
• 在Stanford数据集（49个类别）上，TDLFT(3)使用KNN方法达到了61.3%的准确率，而单模态基线为54.9%，表明性能持续提升。
• 在两个数据集上，KNN-based嵌入方法均优于NCCA和SVR，表明其在跨模态迁移中保持语义结构的有效性。
• TDLFT(0)（在输入层进行迁移和微调）表现显著较差（如AV-Letters上为34.4%），表明原始特征层面的迁移不可行且具有破坏性。
• oracle上界（完美迁移）达到了最高性能（如Stanford上为68.2%），表明更优的嵌入方法可进一步提升TDL结果。
• 从较高层（如i=3）迁移数据进行微调可带来一致的性能增益，而低层迁移（i=0）因原始输入空间对齐性差而降低性能。