[论文解读] TOIST: Task Oriented Instance Segmentation Transformer with Noun-Pronoun Distillation

Pengfei Li, Beiwen Tian+5 more|arXiv (Cornell University)|Oct 19, 2022

Topic Modeling被引用 9

一句话总结

本文提出 TOIST，一种基于 Transformer 的单阶段方法，用于任务导向实例分割，通过在对象查询上使用自注意力机制建模对象偏好。该方法引入了一种新颖的名词-代词蒸馏框架，将预训练名词指代模型的知识迁移过来，在 COCO-Tasks 上实现 SOTA 性能，mAP^{box} 提升 +10.9%，通过蒸馏实现 mAP^{mask} 提升 +3.8%。

ABSTRACT

Current referring expression comprehension algorithms can effectively detect or segment objects indicated by nouns, but how to understand verb reference is still under-explored. As such, we study the challenging problem of task oriented detection, which aims to find objects that best afford an action indicated by verbs like sit comfortably on. Towards a finer localization that better serves downstream applications like robot interaction, we extend the problem into task oriented instance segmentation. A unique requirement of this task is to select preferred candidates among possible alternatives. Thus we resort to the transformer architecture which naturally models pair-wise query relationships with attention, leading to the TOIST method. In order to leverage pre-trained noun referring expression comprehension models and the fact that we can access privileged noun ground truth during training, a novel noun-pronoun distillation framework is proposed. Noun prototypes are generated in an unsupervised manner and contextual pronoun features are trained to select prototypes. As such, the network remains noun-agnostic during inference. We evaluate TOIST on the large-scale task oriented dataset COCO-Tasks and achieve +10.9% higher $ m{mAP^{box}}$ than the best-reported results. The proposed noun-pronoun distillation can boost $ m{mAP^{box}}$ and $ m{mAP^{mask}}$ by +2.8% and +3.8%. Codes and models are publicly available at https://github.com/AIR-DISCOVER/TOIST.

研究动机与目标

• 解决任务导向实例分割的挑战，即模型需识别最能执行给定动词动作（如‘舒适地坐下’）的对象。
• 通过建模多个候选对象之间的相对偏好，克服动词指代的固有模糊性。
• 开发一种单阶段、端到端可训练的方法，利用 Transformer 架构中的自注意力机制自然捕捉对象间的成对偏好。
• 在训练期间利用特权名词真实标注，提升模型在推理阶段处理代词输入时的泛化能力，实现无需名词依赖的部署。

提出的方法

• 提出 TOIST，一种基于 DETR 风格的 Transformer 编码器-解码器架构的单阶段实例分割框架，配备可学习的对象查询。
• 通过在对象查询上使用自注意力机制，建模给定动词动作下候选对象之间的成对关系与相对偏好。
• 在包含特权名词真实标注的 verb-noun 提示（如‘坐在椅子上’）上训练教师模型，通过聚类生成名词原型。
• 在 verb-pronoun 提示（如‘坐在某物上’）上训练学生模型，利用教师模型蒸馏的知识，结合上下文代词特征从名词原型中进行选择。
• 实施两阶段蒸馏过程：首先，对教师模型中的名词特征进行聚类形成原型；其次，训练学生模型使其代词特征与这些原型对齐。
• 应用偏好蒸馏损失，即使在推理阶段无法访问实际名词，也鼓励学生模型学习基于教师输出的对象相对排序。

实验结果

研究问题

• RQ1 基于 Transformer 的单阶段方法能否有效建模实例分割中动词动作下的对象偏好？
• RQ2 如何有效迁移来自预训练指代表达模型的特权名词信息，以提升代词驱动的动词指代性能？
• RQ3 将名词原型知识蒸馏到代词特征中，是否能提升任务导向实例分割的泛化能力与鲁棒性？
• RQ4 聚类数（K）和任务数（n_task）如何影响蒸馏框架的性能？
• RQ5 所提出的名词-代词蒸馏框架能否泛化到未见动词，并在无需微调的情况下保持高性能？

主要发现

• TOIST 在 COCO-Tasks 数据集上实现了新的 SOTA mAP^{box}，达到 44.1%，相比最佳报告的先前结果提升 +10.9%。
• 所提出的名词-代词蒸馏框架相比无蒸馏的基线 TOIST，使 mAP^{box} 提升 +2.8%，mAP^{mask} 提升 +3.8%。
• 消融实验表明，K=3 时聚类名词原型的性能最佳，当 K=3 时 mAP^{box} 达到峰值 44.1%。
• 即使使用无意义的代词标记（如‘abcd’），蒸馏框架仍保持有效，表明对输入变化具有鲁棒性。
• 更少的任务数（n_task = 1）带来更好的性能，'踩上去' 任务 mAP^{box} 提升 +3.0%，'从火中取出土豆' 任务提升 +4.3%，表明降低复杂度可提升蒸馏效率。
• 定性结果表明，TOIST 能检测到虽未标注但合理的功能候选对象（如用桌子打开瓶子），并在某些情况下生成比真实标注更准确的掩码。