[论文解读] On causally asymmetric versions of Occam's Razor and their relation to thermodynamics

Dominik Janzing|ArXiv.org|Aug 24, 2007

Bayesian Modeling and Causal Inference参考文献 42被引用 10

一句话总结

本文提出，因果推断中的不对称性——即从原因到结果的条件句比从结果到原因的条件句更简单——源于热力学不可逆性。通过用初始为乘积分布、随时间演化为关联态的非平衡态物理系统建模，本文表明这种因果不对称性反映了热力学第二定律趋向典型终态的倾向，为因果发现中的奥卡姆剃刀提供了热力学基础。

ABSTRACT

In real-life statistical data, it seems that conditional probabilities for the effect given their causes tend to be less complex and smoother than conditionals for causes, given their effects. We have recently proposed and tested methods for causal inference in machine learning using a formalization of this principle. Here we try to provide some theoretical justification for causal inference methods based upon such a ``causally asymmetric'' interpretation of Occam's Razor. To this end, we discuss toy models of cause-effect relations from classical and quantum physics as well as computer science in the context of various aspects of complexity. We argue that this asymmetry of the statistical dependences between cause and effect has a thermodynamic origin. The essential link is the tendency of the environment to provide independent background noise realized by physical systems that are initially uncorrelated with the system under consideration rather than being finally uncorrelated. This link extends ideas from the literature relating Reichenbach's principle of the common cause to the second law.

研究动机与目标

• 为因果推断中因果不对称版本的奥卡姆剃刀提供理论依据。
• 探究物理系统中从原因到结果与从结果到原因条件句之间统计不对称性的根源。
• 通过非平衡统计力学，将这种不对称性与热力学不可逆性及热力学第二定律联系起来。
• 探讨初始乘积态如何演化为关联终态，从而在正向因果方向上偏好更简单的条件句。
• 确立在 P(结果|原因) 比 P(原因|结果) 更简单的现象，源于物理动力学下的典型演化过程，而非任意假设。

提出的方法

• 使用非平衡统计力学建模因果系统，假设原因与环境的初始为乘积分布。
• 在经典与量子物理的玩具模型中分析条件概率 P(结果|原因) 和 P(原因|结果)，包括自旋系统与热库。
• 运用因果马尔可夫条件与函数模型，形式化干预并推导条件独立结构。
• 应用细致平衡原理与非平衡动力学，表明 P(结果|原因) 通常比 P(原因|结果) 更平滑、更简单。
• 证明在自旋系统等系统中，为在热力学极限下保持有限磁场强度，相互作用哈密顿量需按 1/√n 缩放。
• 表明调整探测自旋（即干预）会使其双峰分布坍缩，揭示相互影响，从而证实非平衡动力学的存在。

实验结果

研究问题

• RQ1 为何在现实世界数据中，条件概率 P(结果|原因) 通常比 P(原因|结果) 更简单、更平滑？
• RQ2 导致因果推断中观察到的不对称性（尤其在非平衡系统中）的物理机制是什么？
• RQ3 热力学第二定律如何与原因与结果之间的统计不对称性相关联？
• RQ4 初始乘积态趋向演化为关联终态的倾向，能否解释对正向条件句更简单的偏好？
• RQ5 非平衡初始条件与不可逆混合过程以何种方式在因果推理中产生热力学时间之箭？

主要发现

• P(结果|原因) 与 P(原因|结果) 之间复杂度的不对称性，源于初始乘积态（原因与环境未关联）在物理动力学下趋向演化为关联终态的倾向。
• 在系统规模趋于无穷的极限下，与探测器相互作用的自旋系统中磁矩的分布会成为两个正态分布的混合，干预会使其坍缩，从而揭示相互影响。
• P(结果|原因) 更简单，因为它反映了未关联初始态向关联终态的典型演化过程，与热力学第二定律一致。
• 处于热平衡的系统无法支持明确的因果方向，因为正向与反向的信息流对称；因此，非平衡初始条件对因果不对称性至关重要。
• 观察到的条件复杂度不对称性并非任意，而是根植于热力学时间之箭，其中特定初始条件（如乘积态）比特定终态更可能。
• 本文证明，在非平衡系统中进行干预会打破因果与结果之间的对称性，确认仅从被动观测进行因果推断需要对初始条件和不可逆性做出假设。