[论文解读] Progressive Fusion for Multimodal Integration

Shiv Shankar, Laure Thompson+1 more|arXiv (Cornell University)|Sep 1, 2022

Advanced Text Analysis Techniques被引用 8

一句话总结

本文提出了一种模型无关的框架——渐进式融合（Pro-Fusion），通过使用反向连接，利用晚期融合的多模态信息迭代优化单模态表示，从而提升多模态学习性能。通过可学习的反投影层，使晚期融合表示能够影响早期单模态编码器，从而在不面临早期融合中模态异质性挑战的前提下提升模型表达能力，在时间序列预测任务中实现最高5%的MSE降低和40%的鲁棒性提升，且在情感分析任务中实现最高2%的准确率增益。

ABSTRACT

Integration of multimodal information from various sources has been shown to boost the performance of machine learning models and thus has received increased attention in recent years. Often such models use deep modality-specific networks to obtain unimodal features which are combined to obtain "late-fusion" representations. However, these designs run the risk of information loss in the respective unimodal pipelines. On the other hand, "early-fusion" methodologies, which combine features early, suffer from the problems associated with feature heterogeneity and high sample complexity. In this work, we present an iterative representation refinement approach, called Progressive Fusion, which mitigates the issues with late fusion representations. Our model-agnostic technique introduces backward connections that make late stage fused representations available to early layers, improving the expressiveness of the representations at those stages, while retaining the advantages of late fusion designs. We test Progressive Fusion on tasks including affective sentiment detection, multimedia analysis, and time series fusion with different models, demonstrating its versatility. We show that our approach consistently improves performance, for instance attaining a 5% reduction in MSE and 40% improvement in robustness on multimodal time series prediction.

研究动机与目标

• 为解决晚期融合因单模态独立处理而导致的信息丢失问题。
• 克服早期融合在模态异质性与高样本复杂度方面面临的挑战。
• 通过使跨模态信息流传递至早期层，弥合早期融合与晚期融合之间的差距。
• 开发一种可泛化的、架构无关的技术，以在多种多模态任务中提升性能与鲁棒性。

提出的方法

• 从晚期融合表示向每个单模态特征生成器引入反向连接，实现对单模态特征的迭代优化。
• 采用可学习的反投影层，将融合后的表示映射回各模态的潜在空间，以实现反馈。
• 将模型展开为多轮迭代，使整个过程可区分，从而支持通过反向传播进行端到端训练。
• 采用增强的网络架构，将单模态编码器、融合层与反投影头以类似循环的方式集成。
• 将该方法应用于多种模型，包括MAGXLNET、MIM和MFAS，验证了其广泛的兼容性。
• 采用固定展开步数的训练循环，通过融合输出与反投影信号，迭代更新上下文。

实验结果

研究问题

• RQ1 通过将融合表示的反馈引入早期单模态编码器，晚期融合模型是否能实现性能与鲁棒性的提升？
• RQ2 通过反向连接对单模态特征进行迭代优化，如何影响多模态表示的质量？
• RQ3 像Pro-Fusion这样的模型无关融合技术，在多类任务中能将最先进模型的性能提升到何种程度？
• RQ4 所提出的反馈机制是否相比标准晚期融合减少了信息丢失，同时避免了早期融合的模态异质性问题？
• RQ5 在迭代展开过程中，单模态表示如何演变？这种演变是否与下游性能的提升相关？

主要发现

• 在一项具有挑战性的多模态时间序列预测任务中，Pro-Fusion相较于基线模型实现了5%的均方误差（MSE）降低。
• 在相同的时间序列预测任务中，该方法使鲁棒性提升了40%，表明在分布偏移下具有更高的稳定性。
• 在情感识别任务中，Pro-Fusion相较于SOTA模型如MAGXLNET和MIM，准确率最高提升了2%。
• 单模态表示在展开迭代过程中准确率持续提升，表明跨模态信息被逐步整合。
• 在迭代优化后，基于单模态特征训练的线性分类器取得了更高的测试准确率，证实单模态编码器通过反馈学习到了更丰富的表示。
• 该方法在多种架构（包括LFN、MFM和RefNet）中均一致提升了性能，证明了其广泛适用性与泛化能力。