[论文解读] On Incorporating Semantic Prior Knowlegde in Deep Learning Through Embedding-Space Constraints

Damien Teney, Ehsan Abbasnejad+1 more|arXiv (Cornell University)|Sep 25, 2019

Multimodal Machine Learning Applications参考文献 33被引用 7

一句话总结

本文提出一种方法，通过在嵌入空间中施加严格约束，而非使用软正则化，将先验知识（如问题之间的语义关系）嵌入深度学习模型。在视觉问答（VQA）任务中，该方法通过保持实例之间的逻辑关系和等价关系，显著提升了准确率和鲁棒性，尤其在标注数据有限时效果更明显。

ABSTRACT

The knowledge that humans hold about a problem often extends far beyond a set of training data and output labels. While the success of deep learning mostly relies on supervised training, important properties cannot be inferred efficiently from end-to-end annotations alone, for example causal relations or domain-specific invariances. We present a general technique to supplement supervised training with prior knowledge expressed as relations between training instances. We illustrate the method on the task of visual question answering to exploit various auxiliary annotations, including relations of equivalence and of logical entailment between questions. Existing methods to use these annotations, including auxiliary losses and data augmentation, cannot guarantee the strict inclusion of these relations into the model since they require a careful balancing against the end-to-end objective. Our method uses these relations to shape the embedding space of the model, and treats them as strict constraints on its learned representations. In the context of VQA, this approach brings significant improvements in accuracy and robustness, in particular over the common practice of incorporating the constraints as a soft regularizer. We also show that incorporating this type of prior knowledge with our method brings consistent improvements, independently from the amount of supervised data used. It demonstrates the value of an additional training signal that is otherwise difficult to extract from end-to-end annotations alone.

研究动机与目标

• 解决监督式深度学习在捕捉隐含的、领域特定知识（如因果关系或逻辑蕴含）方面的局限性。
• 开发一种技术，将先验知识作为嵌入空间中的严格约束，而非依赖软正则化。
• 通过整合问题等价性和蕴含关系等辅助标注，提升视觉问答（VQA）模型的泛化能力和鲁棒性。
• 证明先验知识可独立于监督数据量的大小被有效利用。
• 提供一个通用框架，可推广至VQA之外的多种任务，用于将语义知识融入深度学习。

提出的方法

• 该方法将先验知识表述为训练实例之间的关系（如蕴含、等价），并将其作为几何约束嵌入表示空间。
• 通过修改损失函数，确保嵌入实例之间的相对距离或夹角反映指定的语义关系。
• 在优化过程中将这些约束视为硬性要求，确保模型表示严格保持给定关系。
• 该方法将这些约束整合到训练目标中，无需手动平衡与主监督损失的关系。
• 该方法应用于VQA任务，利用问题对等蕴含或等价关系等辅助标注来塑造嵌入空间。
• 模型学习到的表示既在主任务上表现准确，又忠实于所提供的语义关系。

实验结果

研究问题

• RQ1 能否在标准监督之外，有效将语义先验知识编码进深度学习模型？
• RQ2 在嵌入空间中将语义关系作为硬约束施加，对VQA模型性能有何影响？
• RQ3 整合此类约束是否能提升鲁棒性和泛化能力，尤其是在标注数据有限的情况下？
• RQ4 与软正则化或数据增强相比，该方法在保持语义关系方面表现如何？
• RQ5 该方法是否可普遍适用于不同类型先验知识和任务？

主要发现

• 通过在嵌入空间中强制执行语义关系作为硬约束，该方法显著提升了VQA的准确率。
• 与软正则化相比，该方法在分布外和对抗性设置下展现出更强的模型鲁棒性。
• 性能提升在不同数据规模下均保持一致，即使在监督数据有限时也表现出显著优势。
• 该方法优于现有使用辅助损失或数据增强的方法，后者无法保证对语义关系的严格遵循。
• 嵌入空间约束能有效保持问题之间的逻辑蕴含与等价关系，从而生成更可靠、可解释的表示。
• 该方法证明了显式语义先验知识作为端到端监督的补充信号具有重要价值。