[论文解读] Understanding Embodied Reference with Touch-Line Transformer

Yang Li, Xiaoxue Chen+5 more|arXiv (Cornell University)|Oct 11, 2022

Hand Gesture Recognition Systems被引用 6

一句话总结

本文提出Touch-Line Transformer，一种视觉-语言模型，通过引入虚拟触线（VTL）——即从眼睛到指尖的连线——替代传统的肘部-手腕连线，以提升具身参照理解能力。通过联合预测目标边界框和VTL向量，并利用一致性损失强制实现几何共线性，该模型在YouRefIt数据集上于0.75 IoU标准下实现了25.0%的准确率提升，缩小了63.6%的人工智能模型与人类表现之间的差距。

ABSTRACT

We study embodied reference understanding, the task of locating referents using embodied gestural signals and language references. Human studies have revealed that objects referred to or pointed to do not lie on the elbow-wrist line, a common misconception; instead, they lie on the so-called virtual touch line. However, existing human pose representations fail to incorporate the virtual touch line. To tackle this problem, we devise the touch-line transformer: It takes as input tokenized visual and textual features and simultaneously predicts the referent's bounding box and a touch-line vector. Leveraging this touch-line prior, we further devise a geometric consistency loss that encourages the co-linearity between referents and touch lines. Using the touch-line as gestural information improves model performances significantly. Experiments on the YouRefIt dataset show our method achieves a +25.0% accuracy improvement under the 0.75 IoU criterion, closing 63.6% of the gap between model and human performances. Furthermore, we computationally verify prior human studies by showing that computational models more accurately locate referents when using the virtual touch line than when using the elbow-wrist line.

研究动机与目标

• 为解决现有具身参照理解模型依赖于有缺陷的肢体手势表征（即肘部-手腕连线）的局限性。
• 联合建模非语言手势信号与语言参照，以提升参照定位性能。
• 验证假设：虚拟触线（VTL）在人类指向手势中，相较于肘部-手腕连线（EWL），是更准确的手势线索。
• 在包含多个参照物的复杂、模糊视觉场景中，缩小人工智能代理与人类在性能上的差距。

提出的方法

• 通过在COCO风格关键点图基础上增加连接眼睛与指尖的虚拟触线（VTL），提出一种新型人体姿态表征。
• 提出Touch-Line Transformer，一种多模态Transformer模型，联合处理视觉与文本输入，以预测参照物的边界框和VTL向量。
• 设计几何一致性损失，以促进预测参照物中心与VTL向量之间的共线性，提升空间对齐精度。
• 采用图像修复技术处理测试中头部被遮挡的情况，实现在头部不可见时仍能估计VTL。
• 利用真实与预测的参照物中心，计算VTL与参照物方向之间的余弦相似度，验证VTL的准确性。
• 在多个IoU阈值下评估性能，并采用GIoU提升鲁棒性，对比包含/不包含姿态、EWL、VTL及参照对齐损失的消融变体。

实验结果

研究问题

• RQ1 虚拟触线（VTL）是否相较于传统的肘部-手腕连线（EWL），为参照定位提供更准确的空间线索？
• RQ2 视觉-语言模型能否联合利用手势信号（VTL）与语言参照，以提升具身参照理解能力？
• RQ3 在VTL与预测参照物之间强制实现几何共线性，能在多大程度上降低定位误差？
• RQ4 在不同物体尺寸与IoU阈值下，所提方法与最先进模型相比，性能表现如何？

主要发现

• 在YouRefIt数据集上，于0.75 IoU标准下，Touch-Line Transformer相较于最先进方法实现了+25.0%的准确率提升。
• 该模型缩小了63.6%的人工智能模型与人类表现之间的性能差距，显著缩小了人机性能鸿沟。
• 使用VTL替代EWL后，手势线与参照物方向之间的余弦相似度从0.9580提升至0.9901，证实VTL与参照物具有更优的对齐性。
• 参照对齐损失在IoU阈值为0.25、0.50和0.75时，分别带来4.0、4.5和2.6分的性能提升，证明其有效性。
• 在使用VTL时，小尺寸物体的性能显著提升（IoU=0.75时达13.4%），相较无VTL模型，表明对微小参照物的检测能力增强。
• 采用GIoU评估时，基于VTL的模型在IoU=0.75时达到38.2%的准确率，优于所有消融变体，证实其鲁棒性。