[论文解读] Multimodal Co-Training for Selecting Good Examples from Webly Labeled Video

Ryota Hinami, Junwei Liang+2 more|arXiv (Cornell University)|Apr 17, 2018

Machine Learning and Data Classification参考文献 11被引用 5

一句话总结

本文提出多模态协同训练（MMCo），一种从噪声较大的网络来源视频中选择高质量训练样本的简单而有效的方法。该方法通过联合训练多个模态（如视频、音频、文本）的分类器，并利用共识投票机制，显著提升了样本选择与分类性能，在FCVID上达到0.70精确率和0.80召回率，优于单模态及基线协同训练方法。其核心在于利用模态间的互补信息，识别出那些难以分类但正确的样本。

ABSTRACT

We tackle the problem of learning concept classifiers from videos on the web without using manually labeled data. Although metadata attached to videos (e.g., video titles, descriptions) can be of help collecting training data for the target concept, the collected data is often very noisy. The main challenge is therefore how to select good examples from noisy training data. Previous approaches firstly learn easy examples that are unlikely to be noise and then gradually learn more complex examples. However, hard examples that are much different from easy ones are never learned. In this paper, we propose an approach called multimodal co-training (MMCo) for selecting good examples from noisy training data. MMCo jointly learns classifiers for multiple modalities that complement each other to select good examples. Since MMCo selects examples by consensus of multimodal classifiers, a hard example for one modality can still be used as a training example by exploiting the power of the other modalities. The algorithm is very simple and easily implemented but yields consistent and significant boosts in example selection and classification performance on the FCVID and YouTube8M benchmarks.

研究动机与目标

• 解决在无人工标注的情况下，从高度噪声的网络来源视频数据中选择可靠正样本的挑战。
• 克服先前自训练方法仅依赖简单、高置信样本而无法学习困难样本的局限性。
• 通过利用多种模态（如视觉、音频、文本元数据）之间的互补信息，提升弱监督视频分类性能。
• 设计一种可扩展的在线学习算法，高效处理YouTube8M等大规模视频数据集，无需批量处理。
• 证明多模态共识可提升弱监督视频学习中的泛化能力与抗噪声鲁棒性。

提出的方法

• MMCo使用共享损失函数，联合训练多个模态专用分类器（如RGB、运动、音频、元数据）。
• 基于共识选择训练样本：若多个模态对某一样本的预测得分均超过阈值，则选择该样本。
• 采用投票机制（如模态得分的最大值或平均值）识别可靠正样本，使某一模态中难以分类的样本若在其他模态中得到支持，也可被接受。
• 提出一种在线学习版本的Webly标注学习（online WELL），通过小批量方式更新样本权重与模型参数，实现对数百万视频的可扩展性。
• 该框架支持使用随机梯度下降的端到端训练，可高效适应大规模数据集。
• 该方法模块化且可扩展，支持灵活组合不同模态，并可轻松集成至现有视频分类流水线。

实验结果

研究问题

• RQ1 与单模态或单模态自训练相比，多模态共识是否能提升从噪声网络视频中选择高质量训练样本的性能？
• RQ2 引入互补模态（如文本元数据、音频、视觉特征）如何影响弱监督视频分类的鲁棒性与准确性？
• RQ3 一种简单、基于共识的协同训练策略是否能有效学习到传统自训练方法所遗漏的困难样本？
• RQ4 在训练数据标签噪声水平不同的情况下，该方法表现如何？
• RQ5 在线WELL扩展是否能在扩展至YouTube8M等大规模视频数据集的同时保持性能？

主要发现

• 在FCVID基准上，MMCo将样本选择性能从0.66精确率与0.64召回率提升至0.70精确率与0.80召回率。
• 视频内容（P3D特征）与元数据模态的结合取得了最佳性能，显著优于单模态基线。
• 同时使用视频与元数据模态（如Concat + Metadata）的性能与更复杂的多模态组合相当，实现了成本与准确率之间的良好平衡。
• 该方法表现出强抗噪声能力，在噪声水平高达0.9（90%假正例）时仍能保持0.63的mAP。
• 在YouTube8M数据集上，MMCo在全模态融合下达到0.770的测试mAP，优于单模态与部分多模态基线。
• 定性结果表明，MMCo通过利用元数据有效排除了假正例（如外观相似但错误的视频），而基线方法则常将其误分类。