[论文解读] Zero-Shot Visual Slot Filling as Question Answering.

Larry Heck, Simon Heck|arXiv (Cornell University)|Nov 24, 2020

Multimodal Machine Learning Applications参考文献 24被引用 4

一句话总结

本文提出了一种零样本视觉槽填充方法，通过将槽填充重新定义为问题回答任务：将槽标签转换为自然语言问题，使用在 SQuaD2 上微调的 ALBERT 模型从用户话语中提取答案，并引入多任务训练方法以实现优化。该方法在零样本视觉槽和 ATIS 数据集上的 F1 分数达到 0.52–0.60，展示了无需标注训练数据的高效迁移学习能力。

ABSTRACT

This paper presents a new approach to visual zero-shot slot filling. The approach extends previous approaches by reformulating the slot filling task as Question Answering. Slot tags are converted to rich natural language questions that capture the semantics of visual information and lexical text on the GUI screen. These questions are paired with the user's utterance and slots are extracted from the utterance using a state-of-the-art ALBERT-based Question Answering system trained on the Stanford Question Answering dataset (SQuaD2). An approach to further refine the model with multi-task training is presented. The multi-task approach facilitates the incorporation of a large number of successive refinements and transfer learning across similar tasks. A new Visual Slot dataset and a visual extension of the popular ATIS dataset is introduced to support research and experimentation on visual slot filling. Results show F1 scores between 0.52 and 0.60 on the Visual Slot and ATIS datasets with no training data (zero-shot).

研究动机与目标

• 解决在 GUI 基础对话系统中因标注训练数据稀缺而带来的零样本视觉槽填充挑战。
• 通过利用自然语言问题表述来捕捉 GUI 中的语义和词汇线索，提升视觉槽填充的泛化能力。
• 通过支持迭代优化的多任务训练框架，实现在相关任务间的迁移学习。
• 引入一个新的视觉槽数据集和 ATIS 数据集的视觉扩展版本，以支持视觉槽填充研究。

提出的方法

• 将每个槽标签重新表述为包含视觉语义和 GUI 文本的丰富自然语言问题。
• 将每个用户话语与这些问题模板配对，并使用在 SQuaD2 上微调的预训练 ALBERT 模型进行答案抽取。
• 应用多任务训练，联合优化槽填充和辅助任务，以实现迁移学习并支持迭代优化。
• 引入一个新的视觉槽数据集和 ATIS 数据集的视觉扩展版本，以评估零样本性能。
• 使用基于 ALBERT 的问答系统从话语中预测基于跨度的答案，将槽填充视为阅读理解任务。
• 利用自然语言问题的语义丰富性，提升在传统槽标记之外的零样本泛化能力。

实验结果

研究问题

• RQ1 将槽填充重新表述为问题回答任务，是否能提升在视觉 GUI 上的零样本性能？
• RQ2 在无标注数据的情况下，多任务训练在优化视觉槽填充模型方面的有效性如何？
• RQ3 当在相关问答数据集上微调时，预训练问答模型在多大程度上能泛化到视觉槽填充任务？
• RQ4 在零样本设置下，使用自然语言问题与直接槽标记相比，效果如何？
• RQ5 数据集设计对零样本视觉槽填充性能的影响是什么？

主要发现

• 所提出的基于问答的方法在零样本视觉槽和 ATIS 数据集上的 F1 分数达到 0.52–0.60，展示了在无任何标注训练数据情况下的强大泛化能力。
• 多任务训练支持有效的迁移学习，并促进后续优化，提升了模型的鲁棒性和性能。
• 使用自然语言问题显著增强了 GUI 内容与用户话语之间的语义对齐，改善了槽检测效果。
• 引入的视觉槽数据集和 ATIS 的视觉扩展版本为未来零样本视觉槽填充研究提供了宝贵的基准。
• 在 SQuaD2 上微调 ALBERT 模型，可实现强大的零样本迁移至视觉槽填充任务，凸显了预训练问答模型在此场景下的有效性。
• 与传统槽填充方法相比，该方法在零样本场景下表现更优，能够更好地捕捉上下文和视觉语义。