[论文解读] The Hot Bit I: The Szilard-Landauer Correspondence

Manoj Gopalkrishnan|arXiv (Cornell University)|Nov 14, 2013

Advanced Thermodynamics and Statistical Mechanics参考文献 9被引用 6

一句话总结

本文通过将相对熵与可用自由能对应起来，精确且普遍地建立了信息论与热力学之间的联系，从而统一了薛定谔引擎与兰道尔原理的概念。它证明了增加对系统的知识（以相对熵衡量）需要相应增加自由能，表明信息处理的成本是热力学第二定律的直接结果。

ABSTRACT

We present a precise formulation of a correspondence between information and thermodynamics that was first observed by Szilard, and later studied by Landauer. The correspondence identifies available free energy with relative entropy, and provides a dictionary between information and thermodynamics. We precisely state and prove this correspondence. The paper should be broadly accessible since we assume no prior knowledge of information theory, developing it axiomatically, and we assume almost no thermodynamic background.

研究动机与目标

• 将长期以来信息与热力学之间对应关系的形式化，特别是由薛定谔发起并由兰道尔进一步完善的对应关系。
• 通过使用伯努利随机变量精确定义信息处理操作（如‘复制’）来解决其模糊性。
• 为相对熵作为信息度量提供严格且公理化的基础，无需事先了解信息论知识即可理解。
• 建立一个将相对熵与自由能联系起来的一般定理，其适用范围不仅限于薛定谔引擎，还可推广至更广泛的物理系统。
• 以信息论术语重新表述热力学第二定律，表明相对熵非增性对应于热力学一致性。

提出的方法

• 从操作性原理出发公理化发展信息论：惊讶度是概率的递减函数，且在独立性下具有可加性。
• 将自信息定义为 $ \operatorname{SI}(p) = \log(1/p) $，进而导出香农熵与相对熵（Kullback-Leibler散度）。
• 利用系综解释相对熵为观察者相对于先验分布对系统所掌握的信息量。
• 将自由能差 $ F(p) - F(\pi) $ 定义为从状态 $ p $ 的系统中可提取的可用功，相对于参考状态 $ \pi $，其中 $ \pi $ 代表无知状态。
• 证明定理 4.4：$ D(p||\pi) = \frac{F(p) - F(\pi)}{k_B T} $，确立了相对熵与自由能之间的精确对应关系。
• 将该对应关系应用于重新解释兰道尔原理与麦克斯韦妖，表明擦除操作的代价为 $ k_B T \log 2 $，这是热力学第二定律的直接结果。

实验结果

研究问题

• RQ1 如何在物理背景下严格定义相对熵作为信息的度量？
• RQ2 在物理系统中，相对熵精确对应于哪种热力学量？
• RQ3 为何增加对系统的知识需要热力学代价，且该代价如何量化？
• RQ4 热力学第二定律能否以相对熵信息论单调性的形式重新表述？
• RQ5 该对应关系如何推广至薛定谔引擎之外的任意物理系统？

主要发现

• 本文证明了相对熵 $ D(p||\pi) $ 恰好等于可用自由能 $ \frac{F(p) - F(\pi)}{k_B T} $，建立了信息与热力学之间的基本恒等式。
• 该对应关系表明，任何信息的增加（通过减少不确定性）都对应于自由能的可测量增加，使信息成为一种物理资源。
• 擦除一个比特信息，即减少相对熵，至少需要 $ k_B T \log 2 $ 的能量，从而将兰道尔原理作为热力学第二定律的推论重新获得。
• 该框架允许以相对熵非增性来一般性地表述热力学第二定律，适用于具有平稳分布的马尔可夫过程。
• 本文主张使用‘薛定谔-兰道尔对应’一词比‘兰道尔原理’更恰当，以反映信息与热力学之间更广泛的对偶性。
• 该对应关系揭示了每个电池都储存了信息，且每比特已知信息均可被视为可提取自由能的来源。