[论文解读] Visual Causal Feature Learning

Krzysztof Chalupka, Pietro Perona+1 more|arXiv (Cornell University)|Dec 7, 2014

Machine Learning and Algorithms参考文献 36被引用 48

一句话总结

本文提出了一种因果推断框架，通过从像素级微观变量构建宏观变量（特征），以识别图像中的视觉原因。该框架证明了因果粗化定理（Causal Coarsening Theorem），可在最小干预条件下从观测数据中学习因果特征，并提出一种主动学习方案，用于训练能够识别感知上最优图像操作的操控函数，以实现因果发现。其主要贡献在于建立了一套统一因果特征学习与视觉感知的理论，并在合成数据和真实数据（包括MNIST数字操作）上进行了验证。

ABSTRACT

We provide a rigorous definition of the visual cause of a behavior that is broadly applicable to the visually driven behavior in humans, animals, neurons, robots and other perceiving systems. Our framework generalizes standard accounts of causal learning to settings in which the causal variables need to be constructed from micro-variables. We prove the Causal Coarsening Theorem, which allows us to gain causal knowledge from observational data with minimal experimental effort. The theorem provides a connection to standard inference techniques in machine learning that identify features of an image that correlate with, but may not cause, the target behavior. Finally, we propose an active learning scheme to learn a manipulator function that performs optimal manipulations on the image to automatically identify the visual cause of a target behavior. We illustrate our inference and learning algorithms in experiments based on both synthetic and real data.

研究动机与目标

• 在因果图模型框架内，将行为的视觉原因定义为从图像像素构建的宏观变量，使其具有因果基础。
• 解决当输入数据为原始像素而非预定义特征时，学习因果特征的挑战。
• 通过因果粗化定理，利用观测数据最小化实验工作量，开发一种方法以实现因果特征学习。
• 设计一种主动学习方案，学习一个操控函数，以执行对因果发现最有效的图像操作。
• 在合成数据和真实世界视觉数据（包括MNIST数字分类）上展示该框架的有效性。

提出的方法

• 将视觉原因定义为从图像像素导出的宏观变量，其包含关于目标行为的所有因果信息，从而与非因果特征区分开来。
• 证明因果粗化定理（Causal Coarsening Theorem, CCT），建立在何种条件下观测数据可实现有效因果推断，而无需完全干预。
• 引入一个操控函数，通过主动学习引导搜索，执行感知上最优的图像操作以识别因果特征。
• 通过建模隐变量导致的混淆，将该框架应用于图像数据，区分观测分布与干预分布（P(T|I) 与 P(T|do(I))）。
• 使用神经网络学习图像变换，以最大化与目标类别的相似性，同时保持因果结构，通过Amazon Mechanical Turk的人工标注进行验证。
• 采用反馈循环：训练好的操控网络生成合成图像，由人工标注者进行标注，所得数据用于迭代重新训练网络。

实验结果

研究问题

• RQ1 如何在因果图模型框架内，形式化地将行为的视觉原因定义为图像像素的函数？
• RQ2 在何种条件下，仅依靠观测数据即可充分识别因果特征，从而避免昂贵的干预实验？
• RQ3 在图像表征中，预测性非因果信息在多大程度上可与因果特征分离？
• RQ4 如何设计一种主动学习方案，以高效识别对因果特征发现最具信息量的图像操作？
• RQ5 所提出的框架能否应用于真实世界视觉数据（如MNIST数字），以学习操控函数来揭示因果结构？

主要发现

• 因果粗化定理表明，在特定条件下，观测数据可用于在最小实验干预下识别因果特征，从而弥合了标准机器学习与因果推断之间的鸿沟。
• 该框架在已知真实因果结构的合成数据中成功识别出因果特征，证明了对潜在因果宏观变量的准确恢复。
• 在MNIST数据集上，基于主动学习的操控函数生成的图像被人类标注者持续错误分类为目标数字，表明因果特征发现的有效性。
• 来自Amazon Mechanical Turk的人工标注结果证实，经操控的图像在感知上与目标类别相似，验证了操控函数在保留相关视觉特征方面的有效性。
• 结合人工反馈的迭代训练循环使操控网络的准确性随时间提高，表明其向最优因果操作收敛。
• 即使存在混淆变量，该框架仍能区分观测分布与干预分布，从而在存在虚假相关性的情况下保持因果有效性。