[论文解读] Probing Emergent Semantics in Predictive Agents via Question Answering

Abhishek Das, Federico Carnevale+9 more|arXiv (Cornell University)|Jun 1, 2020

Multimodal Machine Learning Applications参考文献 58被引用 5

一句话总结

该论文提出了一种基于问答（QA）的探测框架，用于解码和分析通过自监督视觉预测训练的预测性智能体中涌现的命题知识。通过在3D环境中应用QA方法分析使用SimCore和动作条件CPC训练的智能体的内部表征，作者发现生成式预测模型（尤其是SimCore）学习到了关于物体、属性和空间关系的丰富且组合性的知识——使得无需向智能体反向传播梯度，即可实现准确的事实推理。

ABSTRACT

Recent work has shown how predictive modeling can endow agents with rich knowledge of their surroundings, improving their ability to act in complex environments. We propose question-answering as a general paradigm to decode and understand the representations that such agents develop, applying our method to two recent approaches to predictive modeling -action-conditional CPC (Guo et al., 2018) and SimCore (Gregor et al., 2019). After training agents with these predictive objectives in a visually-rich, 3D environment with an assortment of objects, colors, shapes, and spatial configurations, we probe their internal state representations with synthetic (English) questions, without backpropagating gradients from the question-answering decoder into the agent. The performance of different agents when probed this way reveals that they learn to encode factual, and seemingly compositional, information about objects, properties and spatial relations from their physical environment. Our approach is intuitive, i.e. humans can easily interpret responses of the model as opposed to inspecting continuous vectors, and model-agnostic, i.e. applicable to any modeling approach. By revealing the implicit knowledge of objects, quantities, properties and relations acquired by agents as they learn, question-conditional agent probing can stimulate the design and development of stronger predictive learning objectives.

研究动机与目标

• 探究通过自监督视觉预测训练的预测性智能体是否在其内部表征中获得了关于物体、属性和空间关系的命题知识。
• 开发一种与模型无关、可解释的方法，用于诊断神经智能体表征中编码的事实知识。
• 利用问答诊断框架，比较不同预测建模方法（特别是SimCore与动作条件CPC）的知识获取能力。
• 证明问答可作为通用的、人类可解释的工具，用于分析在无符号符号事实显式监督下训练的智能体的隐式知识。
• 评估智能体是否仅通过自我中心未来预测，即可学习到不变的物体身份和关系知识，而无需对语言或符号进行直接监督。

提出的方法

• 在视觉丰富的3D环境（DeepMind Lab）中训练智能体，采用带有和不带有辅助预测损失的探索目标。
• 应用两种预测建模方法：动作条件CPC（Guo et al., 2018）和SimCore（Gregor et al., 2019），两者均用于预测未来的自我中心观察。
• 训练一个独立的、不可微的QA解码器，基于智能体的内部状态表征来预测合成英语问题的答案。
• 使用“停止梯度”技术，防止从QA头向智能体反向传播梯度，确保QA任务纯粹作为对学习表征的探测。
• 设计涵盖物体身份、颜色、形状、数量和空间关系（例如，“立方体的颜色是什么？”）的多样化问题。
• 将QA准确率作为智能体对环境内部知识的代理指标，跨多个环境和设置，比较具有预测能力和不具预测能力的智能体。

实验结果

研究问题

• RQ1 通过自监督视觉预测训练的预测性智能体是否能在其内部表征中学习并编码关于物体、属性和空间关系的事实性、组合性知识？
• RQ2 预测建模架构的选择（如对比式与生成式）如何影响智能体所获得的命题知识的质量和类型？
• RQ3 问答在多大程度上可作为与模型无关、可解释的诊断工具，用于探测在无符号符号事实显式监督下训练的智能体的内部知识？
• RQ4 仅通过自我中心预测训练的智能体是否能发展出对物体身份和属性的不变表征，即使没有对这些属性进行直接监督？
• RQ5 QA性能是否能可靠地区分学习了丰富世界模型的智能体与未学习该模型的智能体，即使它们在下游任务中表现相似？

主要发现

• SimCore智能体在所有问题类型中均取得了最高的问答准确率，显著优于动作条件CPC和普通LSTM智能体。
• QA探测揭示，SimCore智能体编码了关于物体形状、颜色、数量和空间关系的详细、组合性知识，尽管这些属性未提供显式监督。
• 动作条件CPC智能体虽在导航和探索方面表现良好，但回答事实性问题的能力有限，表明其对命题知识的编码能力较弱。
• QA框架成功在不向智能体反向传播梯度的情况下解码出关于物体身份和属性的知识，证实了表征在语义上丰富且稳定。
• 该方法在不同环境中具有泛化能力：在第一个环境中使用的相同超参数在DeepMind Lab中也产生了稳定一致的结果，表明其鲁棒性和可迁移性。
• 结果表明，生成式预测模型（如SimCore）在构建支持事实推理和类语言泛化的内部表征方面，比对比式模型（如CPC）更有效。