[论文解读] OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation

Qidong Huang, Xiaoyi Dong+7 more|arXiv (Cornell University)|Nov 29, 2023

Big Data and Digital Economy被引用 5

一句话总结

OPERA 是一种用于多模态大语言模型（MLLMs）的新颖解码方法，通过引入过度信任惩罚机制和回顾-分配策略，有效降低幻觉现象。该方法可检测并惩罚模型在生成过程中过度依赖摘要标记的注意力模式，同时在检测到此类模式时触发回滚与候选标记的重新分配——在无需额外数据、知识或训练的情况下，显著减少幻觉。

ABSTRACT

Hallucination, posed as a pervasive challenge of multi-modal large language models (MLLMs), has significantly impeded their real-world usage that demands precise judgment. Existing methods mitigate this issue with either training with specific designed data or inferencing with external knowledge from other sources, incurring inevitable additional costs. In this paper, we present OPERA, a novel MLLM decoding method grounded in an Over-trust Penalty and a Retrospection-Allocation strategy, serving as a nearly free lunch to alleviate the hallucination issue without additional data, knowledge, or training. Our approach begins with an interesting observation that, most hallucinations are closely tied to the knowledge aggregation patterns manifested in the self-attention matrix, i.e., MLLMs tend to generate new tokens by focusing on a few summary tokens, but not all the previous tokens. Such partial over-trust inclination results in the neglecting of image tokens and describes the image content with hallucination. Based on the observation, OPERA introduces a penalty term on the model logits during the beam-search decoding to mitigate the over-trust issue, along with a rollback strategy that retrospects the presence of summary tokens in the previously generated tokens, and re-allocate the token selection if necessary. With extensive experiments, OPERA shows significant hallucination-mitigating performance on different MLLMs and metrics, proving its effectiveness and generality. Our code is available at: https://github.com/shikiw/OPERA.

研究动机与目标

• 解决多模态 LLM（MLLMs）中普遍存在的幻觉问题，该问题会损害自动驾驶等实际应用场景中的可信度。
• 识别出幻觉与自注意力矩阵中知识聚合模式密切相关，即模型过度依赖少数摘要标记，而忽略图像标记。
• 开发一种推理阶段的幻觉缓解方法，无需额外训练数据、外部知识或模型微调。
• 设计一种解码策略，可检测有害注意力模式，并实现候选标记的动态重分配，以避免生成幻觉内容。

提出的方法

• 从自注意力图的局部窗口中计算过度信任惩罚项，通过测量对摘要标记的列方向注意力强度，检测模型对少数先前标记的过度依赖。
• 在束搜索解码中引入该惩罚项，通过降低表现出强烈过度信任模式的候选标记的对数几率分数，从而降低其被选中的概率。
• 实现回顾-分配机制：当最大窗口内惩罚分数的重叠超过阈值时，触发回滚至摘要标记并重新选择候选标记，以避免生成幻觉路径。
• 采用列方向度量方法，量化注意力图滑动窗口内知识聚合的强度，聚焦于与幻觉发生相关的模式。
• 在束搜索解码过程中应用该方法，无需修改模型权重，支持与现有 MLLMs 的即插即用式集成。
• 利用 GPT-4V 作为裁判模型，基于人类一致性和细节得分评估生成描述中的幻觉减少效果。

实验结果

研究问题

• RQ1 MLLM 中的幻觉在多大程度上与自注意力矩阵中的特定知识聚合模式相关？
• RQ2 基于注意力的惩罚机制是否能在无需额外训练或外部知识的情况下，有效减少推理阶段的幻觉？
• RQ3 回顾-分配策略是否通过在检测到过度信任模式时实现候选标记的动态重选，从而提升事实一致性？
• RQ4 OPERA 在多种 MLLM 和指令类型中表现如何，特别是在长文本生成任务中？
• RQ5 OPERA 是否也能缓解重复问题，该问题与幻觉具有相似的注意力模式？

主要发现

• 幻觉与自注意力矩阵中的列向注意力模式强相关，约 80%–95% 的幻觉内容与这些模式同时出现。
• OPERA 在多个 MLLM 上均有效减少幻觉，包括 LLaVA-1.5-7B、InstructBLIP-7B 和 Shikra-7B，在准确率与细节度量上均表现出一致的性能提升。
• 在 GPT-4V 评估中，该方法显著提升一致性与细节得分，证明其在减少事实性错误方面的有效性。
• OPERA 在长序列中尤为有效，因为幻觉更可能在知识聚合模式出现后产生；在短答案（<10 个词）中表现边际提升，原因在于模式检测存在滞后效应。
• 该方法还能缓解重复问题，因为重复句中周期性出现的注意力模式会触发回顾与重分配，通常导致更早触发结束符（EOS）token。
• 失败案例主要源于模型固有偏差（如‘road’→‘cars’）或视觉感知能力弱（如低分辨率或形状相似物体），表明这些属于模型本身能力的局限，超出本方法的解决范围。