[论文解读] Neuro-Inspired Information-Theoretic Hierarchical Perception for Multimodal Learning

Xiongye Xiao, Gengshuo Liu+7 more|arXiv (Cornell University)|Apr 15, 2024

EEG and Brain-Computer Interfaces被引用 4

一句话总结

该论文提出信息论分层感知（ITHP），一种受神经机制启发的多模态学习模型，利用信息瓶颈原理，将次要模态的信息分层提炼至主模态，从而获得紧凑且富有信息量的潜在表征。ITHP在MUStARD、CMU-MOSI和CMU-MOSEI数据集上超越了当前最先进模型，在CMU-MOSI数据集上的多模态情感分类任务中，所有指标均超过人类水平表现。

ABSTRACT

Integrating and processing information from various sources or modalities are critical for obtaining a comprehensive and accurate perception of the real world in autonomous systems and cyber-physical systems. Drawing inspiration from neuroscience, we develop the Information-Theoretic Hierarchical Perception (ITHP) model, which utilizes the concept of information bottleneck. Different from most traditional fusion models that incorporate all modalities identically in neural networks, our model designates a prime modality and regards the remaining modalities as detectors in the information pathway, serving to distill the flow of information. Our proposed perception model focuses on constructing an effective and compact information flow by achieving a balance between the minimization of mutual information between the latent state and the input modal state, and the maximization of mutual information between the latent states and the remaining modal states. This approach leads to compact latent state representations that retain relevant information while minimizing redundancy, thereby substantially enhancing the performance of multimodal representation learning. Experimental evaluations on the MUStARD, CMU-MOSI, and CMU-MOSEI datasets demonstrate that our model consistently distills crucial information in multimodal learning scenarios, outperforming state-of-the-art benchmarks. Remarkably, on the CMU-MOSI dataset, ITHP surpasses human-level performance in the multimodal sentiment binary classification task across all evaluation metrics (i.e., Binary Accuracy, F1 Score, Mean Absolute Error, and Pearson Correlation).

研究动机与目标

• 开发一种受人类大脑中分层且具有反馈机制的信息处理方式启发的多模态感知模型。
• 通过实现结构化、选择性的信息融合，解决高维、相关性强的多模态数据挑战。
• 通过最小化冗余信息同时保留与任务相关信号，实现紧凑且富有信息量的潜在表征。
• 将信息流建模为分层过程，指定一个模态为主输入，其他模态作为检测器以优化表征。
• 在多模态表征学习中超越现有基准，特别是在情感分析任务中。

提出的方法

• ITHP采用分层信息瓶颈（IB）框架，主模态首先被处理，其他模态作为检测器以优化潜在表征。
• 该模型通过优化一个损失函数，平衡潜在状态与输入模态状态之间的互信息最小化，以及潜在状态与剩余模态状态之间的互信息最大化。
• 潜在状态通过神经网络学习，编码参数为θk，预测参数为ψk，使用变分推断近似后验分布。
• 该方法使用拉格朗日乘子β和γk，控制分层结构中每一层的压缩与预测保真度之间的权衡。
• 通过样本熵（SampEn）和子模函数优化对模态进行排序，以识别最富信息量的融合源。
• 通过系数λk和α，将一级和后续层级的IB目标进行整合，平衡任务特定性能与信息压缩。

实验结果

研究问题

• RQ1 与传统融合方法相比，分层且仿生的信息流如何改善多模态表征学习？
• RQ2 基于主模态的架构，将次要模态作为检测器，是否能在多模态学习中实现更优的性能与紧凑性？
• RQ3 ITHP模型在多模态情感分类中超越人类水平表现的程度如何？
• RQ4 样本熵与子模函数排序在分层融合流程中如何有效识别最富信息量的模态？
• RQ5 在潜在表征学习中，互信息最小化与最大化的平衡对表征质量有何影响？

主要发现

• ITHP在MUStARD、CMU-MOSI和CMU-MOSEI数据集上达到最先进性能，所有基准测试中均表现出一致的提升。
• 在CMU-MOSI数据集中，ITHP在多模态情感二分类任务中超越人类水平表现，所有指标——二分类准确率、F1分数、平均绝对误差和皮尔逊相关系数——均优于人类。
• 模型的潜在表征显著更紧凑且富有信息量，这体现在互信息最小化与最大化之间达到优化平衡。
• 样本熵与子模函数排序能有效识别最富信息量的模态，音频与文本线索在情感分析任务中被识别为最主要的贡献者。
• 分层设计有助于更好地解耦相关信号并抑制噪声，从而在高维、强相关输入条件下保持鲁棒性能。
• 消融实验表明，分层结构与信息瓶颈组件对性能提升至关重要，任一组件的移除均导致显著性能下降。