[论文解读] MultiBench: Multiscale Benchmarks for Multimodal Representation Learning

Paul Pu Liang, Yiwei Lyu+10 more|PubMed|Jul 15, 2021

Topic Modeling参考文献 160被引用 22

一句话总结

MULTIBENCH 引入了一个统一的、大规模的多模态表征学习基准，整合了涵盖10种模态和20项任务的15个数据集，覆盖6个研究领域。该基准支持对模型性能、计算复杂度以及对噪声或缺失模态的鲁棒性的标准化评估，并提供了20种核心方法的标准化实现，在15个数据集中的9个上实现了最先进性能。

ABSTRACT

Learning multimodal representations involves integrating information from multiple heterogeneous sources of data. It is a challenging yet crucial area with numerous real-world applications in multimedia, affective computing, robotics, finance, human-computer interaction, and healthcare. Unfortunately, multimodal research has seen limited resources to study (1) generalization across domains and modalities, (2) complexity during training and inference, and (3) robustness to noisy and missing modalities. In order to accelerate progress towards understudied modalities and tasks while ensuring real-world robustness, we release MultiBench, a systematic and unified large-scale benchmark for multimodal learning spanning 15 datasets, 10 modalities, 20 prediction tasks, and 6 research areas. MultiBench provides an automated end-to-end machine learning pipeline that simplifies and standardizes data loading, experimental setup, and model evaluation. To enable holistic evaluation, MultiBench offers a comprehensive methodology to assess (1) generalization, (2) time and space complexity, and (3) modality robustness. MultiBench introduces impactful challenges for future research, including scalability to large-scale multimodal datasets and robustness to realistic imperfections. To accompany this benchmark, we also provide a standardized implementation of 20 core approaches in multimodal learning spanning innovations in fusion paradigms, optimization objectives, and training approaches. Simply applying methods proposed in different research areas can improve the state-of-the-art performance on 9/15 datasets. Therefore, MultiBench presents a milestone in unifying disjoint efforts in multimodal machine learning research and paves the way towards a better understanding of the capabilities and limitations of multimodal models, all the while ensuring ease of use, accessibility, and reproducibility. MultiBench, our standardized implementations, and leaderboards are publicly available, will be regularly updated, and welcomes inputs from the community.

研究动机与目标

• 解决多模态学习中缺乏系统性、大规模基准来评估在多样化领域和模态之间泛化能力的问题。
• 量化模型性能、训练/推理时间与内存使用之间的权衡，以支持高效性感知的研究。
• 系统性评估模型在存在噪声或缺失模态等现实数据缺陷下的鲁棒性。
• 提供标准化、可复现的数据加载、模型训练和评估流程，以加速研究并确保可比性。
• 通过公开的GitHub仓库支持社区驱动的扩展，允许贡献新数据集、模型和评估协议。

提出的方法

• 设计一个模块化、可扩展的基准框架，统一整合15个多样化数据集，涵盖10种模态（如视频、音频、文本、力传感器、时间序列）以及6个研究领域（如医疗健康、金融、机器人学）中的20项预测任务。
• 实现一个自动化的端到端流水线，用于数据加载、模型训练、评估和日志记录，确保可复现性和易用性。
• 集成标准化指标，用于评估模型在不同领域和模态间的泛化能力，以及训练和推理过程中的时空复杂度，同时评估在模态损坏或缺失数据下的鲁棒性。
• 提供20种核心多模态学习方法的标准化实现，涵盖多样的融合范式、优化目标和训练策略。
• 通过文档齐全的GitHub仓库支持社区贡献，明确提供添加新数据集、数据加载器和模型的指南，包括测试脚本和兼容性检查。
• 计划未来扩展以支持公平性评估，包括在流水线中添加人工标注数据用于偏差检测、公平性感知算法和偏差评估指标。

实验结果

研究问题

• RQ1 多模态模型在视觉-语言任务之外的多样化领域和模态之间如何实现泛化？
• RQ2 多模态学习中，模型性能、训练/推理时间与内存消耗之间的权衡关系如何？
• RQ3 多模态模型对现实世界中数据缺陷（如噪声或缺失模态）的鲁棒性如何？
• RQ4 现有方法的标准化实现能在多大程度上提升广泛多模态基准上的最先进性能？
• RQ5 社区驱动的贡献在多大程度上能增强多模态基准的可扩展性、多样性与长期可持续性？

主要发现

• 20种现有多模态学习方法的标准化实现，在MULTIBENCH基准的15个数据集中有9个达到了最先进性能。
• MULTIBENCH 在单一统一框架中实现了对模型性能、计算复杂度以及模态缺陷鲁棒性的整体评估。
• 该基准支持医疗健康、金融、机器人学和情感计算等多个研究领域，这些领域在以往的多模态基准中常被忽视。
• 自动化流水线显著降低了研究人员的入门门槛，通过标准化数据加载、训练和评估工作流提升了效率。
• 该框架具备可扩展性和社区驱动特性，通过公开的GitHub仓库支持新数据集、模型和评估协议的贡献。
• 未来扩展将包含公平性感知评估，计划增加用于偏差检测的人工标注数据、公平性感知算法和偏差评估指标。