[论文解读] RegBN: Batch Normalization of Multimodal Data with Regularization

Morteza Ghahremani, Christian Wachinger|arXiv (Cornell University)|Oct 1, 2023

Music and Audio ProcessingComputer Science被引用 3

一句话总结

RegBN 是一种针对多模态数据的新型批量归一化方法，通过使用弗罗贝尼乌斯范数作为正则化项来减少异质模态之间的混淆效应和依赖关系。通过在无可学习参数的情况下强制实现特征独立性，该方法在多种架构和数据集上提升了训练稳定性和性能，且在多模态学习任务中实现了稳定的性能提升，同时仅需极少的超参数调优。

ABSTRACT

Recent years have witnessed a surge of interest in integrating high-dimensional data captured by multisource sensors, driven by the impressive success of neural networks in the integration of multimodal data. However, the integration of heterogeneous multimodal data poses a significant challenge, as confounding effects and dependencies among such heterogeneous data sources introduce unwanted variability and bias, leading to suboptimal performance of multimodal models. Therefore, it becomes crucial to normalize the low- or high-level features extracted from data modalities before their fusion takes place. This paper introduces a novel approach for the normalization of multimodal data, called RegBN, that incorporates regularization. RegBN uses the Frobenius norm as a regularizer term to address the side effects of confounders and underlying dependencies among different data sources. The proposed method generalizes well across multiple modalities and eliminates the need for learnable parameters, simplifying training and inference. We validate the effectiveness of RegBN on eight databases from five research areas, encompassing diverse modalities such as language, audio, image, video, depth, tabular, and 3D MRI. The proposed method demonstrates broad applicability across different architectures such as multilayer perceptrons, convolutional neural networks, and vision transformers, enabling effective normalization of both low- and high-level features in multimodal neural networks. RegBN is available at \url{https://github.com/mogvision/regbn}.

研究动机与目标

• 解决多模态神经网络中因混淆效应和模态间依赖关系导致的性能下降与训练不稳定性问题。
• 开发一种无需可学习参数的归一化技术，适用于来自图像、文本、音频、视频和3D MRI等多样化模态的低级与高级特征。
• 通过在融合前促进模态间的统计独立性，提升多模态融合的可靠性与鲁棒性。
• 实现对多种神经网络架构（包括MLP、CNN和视觉Transformer）的有效归一化。
• 减少对依赖元数据的归一化方法的依赖，这些方法仍对混淆因子和模态不平衡敏感。

提出的方法

• RegBN 在成对模态之间的特征协方差矩阵上应用基于弗罗贝尼乌斯范数的正则化项，通过最小化模态间的交叉相关性来促进特征独立性。
• 该方法通过使用小批量统计量对特征进行重新中心化和重新缩放，类似于标准批量归一化，但额外增加了正则化项。
• 正则化项通过L-BFGS优化，以寻找最小化模态间交叉协方差矩阵弗罗贝尼乌斯范数的最优缩放因子λ₊。
• RegBN 作为轻量级、可微分的层插入融合前，只要输入模态不相互独立，即可在神经网络中多次插入。
• 该方法无需可学习参数，简化了训练与推理过程，同时保持与现有架构的兼容性。
• 即使在小批量大小（≥40）下也表现良好，优于在低批量大小下易出现不稳定的MDN等方法。

实验结果

研究问题

• RQ1 一种无可学习参数的归一化方法是否能有效减少多模态神经网络中的混淆效应和模态间依赖关系？
• RQ2 RegBN 在包括图像、文本、音频、视频、深度图、表格数据和3D MRI在内的多样化数据模态中表现如何？
• RQ3 与标准批量归一化和基于元数据的归一化技术相比，RegBN 在提升训练稳定性和模型准确率方面有多大改进？
• RQ4 在不同设置下，哪些超参数设置（如学习率、L-BFGS的最大迭代次数）能为RegBN带来最优性能？
• RQ5 RegBN 是否能有效应用于MLP、CNN和视觉Transformer等不同类型的神经网络架构？

主要发现

• RegBN 在涵盖五个研究领域（包括医疗健康、情感计算和多媒体）的八个多样化数据库上实现了最先进性能。
• 在CMU-MOSI数据集中，当学习率为1.0且L-BFGS最大迭代次数为30时，使用MulT的RegBN实现了81.8%的二分类准确率和42.3%的五分类准确率。
• 该方法在小批量大小下表现出强鲁棒性，在MDN失效的情况下仍能保持性能，最优性能在批量大小≥50时达到。
• RegBN 在减少混淆效应和提升特征独立性方面优于基线归一化技术与基于元数据的方法。
• 消融实验表明，弗罗贝尼乌斯范数正则化项显著提升了所有测试架构中的模型泛化能力和收敛速度。
• RegBN 在所有融合范式（早融合、中融合和晚融合）中均有效，且无需对网络架构进行任何修改。