[论文解读] Thermodynamic cost and benefit of data representations

Susanne Still|arXiv (Cornell University)|Apr 29, 2017

Neural Networks and Applications被引用 10

一句话总结

本文将热力学原理应用于数据表征，表明信息处理系统中最小能量耗散要求仅保留相关信息。通过利用温差推导功输出的上界，直接将最优表征与信息瓶颈方法联系起来，为学习系统中的信息过滤提供了物理基础。

ABSTRACT

This paper takes a thermodynamic approach to addressing the problem of how to represent data efficiently and meaningfully, a problem at the heart of learning and adaptation in both biological and artificial systems. Thermodynamic analysis of an information engine's cyclic operation reveals information theoretic quantities that are setting limits on performance. If run at fixed temperature, dissipation is lower bounded by a term proportional to irrelevant information. Data representation strategies that are optimal in the sense of minimizing dissipation must therefore strive to retain only relevant information. When an information engine is allowed to make use of a temperature difference, it can produce net work output, for which an upper bound is derived. Maximizing the bound yields a direct derivation of the Information Bottleneck method, a known technique in signal processing and machine learning, used precisely to filter relevant information from irrelevant clutter.

研究动机与目标

• 理解学习系统中数据表征的热力学成本。
• 以能量耗散为度量，确定信息处理效率的物理极限。
• 从热力学原理推导最优数据表征策略。
• 将信息论方法（如信息瓶颈）与能量和温差的物理约束联系起来。

提出的方法

• 分析信息引擎的循环运行，以提取信息处理的热力学约束。
• 通过固定温度运行，推导出能量耗散的下界，其与无关信息成正比。
• 引入温差以实现净功输出，从而推导性能界限。
• 推导出依赖于相关与无关信息权衡的功输出上界。
• 通过优化该上界，恢复信息瓶颈方法作为最优解。
• 以互信息和熵的形式表述问题，以量化相关内容与无关内容。

实验结果

研究问题

• RQ1 在处理信息的系统中，数据表征的最小热力学成本是什么？
• RQ2 温差如何影响信息引擎的功输出和效率？
• RQ3 热力学对数据表征过程中过滤无关信息施加了哪些约束？
• RQ4 能否从能量和熵的物理原理推导出信息瓶颈方法？
• RQ5 在学习系统中，信息相关性与能量耗散之间存在何种关系？

主要发现

• 在固定温度下的信息引擎中，能量耗散受一个与无关信息成正比的项下界约束。
• 当使用温差时，系统可产生净功输出，其上界由热力学原理推导得出。
• 最大化该功输出的上界可直接导出信息瓶颈方法作为最优表征策略。
• 最优数据表征策略通过仅保留相关信息并丢弃无关冗余，实现耗散最小化。
• 该推导为信息瓶颈方法提供了物理依据，将其与热力学效率联系起来。
• 该分析在数据表征背景下建立了信息论与热力学之间的根本联系。