[论文解读] Ref-NMS: Breaking Proposal Bottlenecks in Two-Stage Referring Expression Grounding

Long Chen, Wenbo Ma+3 more|arXiv (Cornell University)|Sep 3, 2020

Topic Modeling参考文献 51被引用 13

一句话总结

该论文提出Ref-NMS，一种新颖方法，通过在第一阶段生成与表达式相关的区域提议，并利用轻量级模块对提议与指代对象的对齐程度进行评分，从而指导NMS，以增强两阶段指代表达定位（REG）性能。该方法在多个基准测试中达到最先进性能，测试B集上绝对提升最高达4.72%。

ABSTRACT

The prevailing framework for solving referring expression grounding is based on a two-stage process: 1) detecting proposals with an object detector and 2) grounding the referent to one of the proposals. Existing two-stage solutions mostly focus on the grounding step, which aims to align the expressions with the proposals. In this paper, we argue that these methods overlook an obvious mismatch between the roles of proposals in the two stages: they generate proposals solely based on the detection confidence (i.e., expression-agnostic), hoping that the proposals contain all right instances in the expression (i.e., expression-aware). Due to this mismatch, current two-stage methods suffer from a severe performance drop between detected and ground-truth proposals. To this end, we propose Ref-NMS, which is the first method to yield expression-aware proposals at the first stage. Ref-NMS regards all nouns in the expression as critical objects, and introduces a lightweight module to predict a score for aligning each box with a critical object. These scores can guide the NMS operation to filter out the boxes irrelevant to the expression, increasing the recall of critical objects, resulting in a significantly improved grounding performance. Since Ref- NMS is agnostic to the grounding step, it can be easily integrated into any state-of-the-art two-stage method. Extensive ablation studies on several backbones, benchmarks, and tasks consistently demonstrate the superiority of Ref-NMS. Codes are available at: https://github.com/ChopinSharp/ref-nms.

研究动机与目标

• 解决两阶段指代表达定位（REG）方法中检测到的提议与真实框之间的性能差距。
• 识别一个关键不匹配：第一阶段检测器仅使用检测置信度，而第二阶段定位任务要求提议具备表达式感知能力。
• 在提议筛选过程中融入指代表达中的语言线索，提升关键对象（如指代对象和上下文）的召回率。
• 开发一个即插即用模块，无需修改定位头即可增强任意两阶段REG框架。
• 在多种主干网络、数据集和任务（REC与RES）上均实现一致的性能提升。

提出的方法

• 将指代表达中的所有名词视为需定位的关键对象。
• 引入一个轻量级、可微模块，预测每个提议与每个关键对象之间的相关度得分。
• 将相关度得分与检测置信度结合，形成用于NMS抑制的综合得分。
• 修改NMS操作，优先保留既具有高置信度又与表达中关键对象对齐的提议。
• 确保该方法与定位模块无关，可无缝集成到任意两阶段REG模型中。
• 使用二元交叉熵损失端到端训练相关度评分头，与检测器联合优化。

实验结果

研究问题

• RQ1 为何两阶段REG方法在使用现成检测器生成提议时会出现显著性能下降？
• RQ2 基于检测置信度生成提议与表达式感知定位之间的不匹配，对模型性能的劣化程度如何？
• RQ3 提升关键对象（指代对象与上下文）的提议召回率，能否带来可测量的定位准确率提升？
• RQ4 轻量级、表达式感知的NMS机制在不修改定位模块的前提下，提升性能的效率如何？
• RQ5 所提出的Ref-NMS方法是否在不同主干网络、数据集和任务（REC与RES）上均具备泛化能力？

主要发现

• Ref-NMS在RefCOCO测试B集上实现最高达4.72%的绝对性能提升，且在所有评估主干网络上均保持一致增益。
• 在REC任务中，Ref-NMS平均分别提升2.64%、0.53%和2.26%（RefCOCO、RefCOCO+和RefCOCOg数据集）。
• 在RES任务中，Ref-NMS在三个数据集上平均分别实现2.82%、0.31%和1.65%的提升，为两阶段方法树立了新的SOTA。
• 性能提升与关键对象召回率的提高密切相关，证实该方法有效缓解了提议瓶颈问题。
• 定性结果表明，Ref-NMS生成的提议更具表达式感知性，相比基线显著减少误报并更少遗漏指代对象。
• 即使在失败案例中，Ref-NMS仍能生成更合理的提议，表明定位错误主要源于第二阶段，而非提议质量。