[论文解读] Overview of Information Theory, Computer Science Theory, and Stochastic Thermodynamics for Thermodynamics of Computation

David H. Wolpert|arXiv (Cornell University)|Dec 30, 2018

Advanced Thermodynamics and Statistical Mechanics被引用 6

一句话总结

本文提出了一套统一框架，结合信息论、计算机科学理论与随机热力学，分析计算的热力学特性。该框架将熵流分解为兰道尔成本、失配成本与剩余熵产生三部分，表明由于输入相关性与重初始化开销，逻辑可逆电路（例如基于Fredkin的电路）的最小能量成本可能高于传统不可逆电路，挑战了关于可逆性热力学优势的既有假设。

ABSTRACT

I give a quick overview of some of the theoretical background necessary for using modern non-equilibrium statistical physics to investigate the thermodynamics of computation. I first present some of the necessary concepts from information theory, and then introduce some of the most important types of computational machine considered in computer science theory. After this I present a central result from modern non-equilibrium statistical physics: an exact expression for the entropy flow out of a system undergoing a given dynamics with a given initial distribution over states. This central expression is crucial for analyzing how the total entropy flow out of a computer depends on its global structure, since that global structure determines the initial distributions into all of the computer's subsystems, and therefore (via the central expression) the entropy flows generated by all of those subsystems. I illustrate these results by analyzing some of the subtleties concerning the benefits that are sometimes claimed for implementing an irreversible computation with a reversible circuit constructed out of Fredkin gates.

研究动机与目标

• 为利用现代非平衡统计物理分析计算热力学提供理论基础。
• 阐明不同计算架构（尤其是可逆与不可逆电路）相关的热力学成本。
• 通过量化熵流，澄清关于逻辑可逆计算能量优势的误解。
• 展示输入分布依赖性与系统重初始化如何影响最小能量成本。

提出的方法

• 利用随机热力学将总熵流分解为三部分：兰道尔成本、失配成本与剩余熵产生。
• 应用信息论度量——香农熵与Kullback-Leibler散度——量化状态分布中的熵变与失配。
• 通过条件分布与映射建模计算机器，基于非零转移结构将动力学分解为子映射。
• 通过考虑系统状态的初始分布与逻辑映射结构，分析熵流。
• 引入函数动力学中“岛屿”的概念，以隔离子映射进行熵分析。
• 在不同输入分布下，比较AO器件、传统不可逆电路与扩展可逆电路的热力学成本。

实验结果

研究问题

• RQ1 实现给定计算的最小热力学成本是多少？其如何依赖于输入分布？
• RQ2 为何在理论上预期具有优势的逻辑可逆电路，有时反而比不可逆电路消耗更高能量？
• RQ3 输入变量间的统计耦合如何影响计算的最小能量成本？
• RQ4 重初始化过程在计算系统总热力学成本中扮演何种角色？
• RQ5 失配成本与剩余熵产生如何影响不同电路设计的效率？

主要发现

• 当输入位存在统计耦合时，运行传统不可逆电路的最小能量成本（EF）低于逻辑可逆电路，原因在于可逆情况下熵产生更高。
• 失配成本源于实际初始分布与反事实先验之间的差异，即使在可逆系统中也可能非零。
• 仅重初始化输出位（如模型1与3）的总EF低于重初始化所有输入（如扩展电路）的情况，尤其在输入相关时更为显著。
• 运行传统电路的最小EF低于等效AO器件的EF，差额等于输入熵S(p₀(X¹, X²))。
• 由于其逻辑可逆动力学，扩展电路的失配成本为零，而模型1–3的失配成本可能非零。
• 尽管可逆电路的内在成本更高，但布线与导线引起的熵产生等实际挑战可能抵消任何热力学优势，使传统电路在实践中更高效。