[论文解读] TherML: Thermodynamics of Machine Learning

Alexander A. Alemi, Ian S. Fischer|arXiv (Cornell University)|Jul 11, 2018

Advanced Thermodynamics and Statistical Mechanics参考文献 25被引用 20

一句话总结

该论文提出了 TherML，一种基于信息论的框架，将表征学习建模为最小化真实数据世界（World P）与理想化建模世界（World Q）之间的热力学类自由能。通过将学习动态视为马尔可夫过程，并利用互信息的变分界，该框架将监督学习、无监督学习和自监督学习等多种学习目标统一于由四个泛函定义的单一几何边界之下，其收敛过程单调趋近平衡态，类似于热力学第二定律。

ABSTRACT

In this work we offer a framework for reasoning about a wide class of existing objectives in machine learning. We develop a formal correspondence between this work and thermodynamics and discuss its implications.

研究动机与目标

• 将表征学习形式化为最小化真实数据世界（World P）与理想化建模世界（World Q）之间相对熵（KL 散度）的过程。
• 通过量化训练数据中预测信息的大小，识别学习的内在极限，该信息随数据集规模的增长呈次线性增长。
• 将监督学习、无监督学习和自监督学习等多种机器学习目标统一于由四个泛函定义的单一几何边界之下。
• 为学习动态建立热力学类比，其中优化过程类似于向平衡态的弛豫，表现为自由能单调下降。
• 通过最优边界的几何结构及其偏导数，推导出关于模型行为的新理论洞见。

提出的方法

• 将真实世界（World P）形式化为具有潜在变量 Φ（数据生成过程）、θ（模型参数）和 Z（局部表征）的图模型，并假设条件独立性。
• 将理想世界（World Q）定义为因子化模型，其中 Z 作为 X 和 Y 的潜在因子，使二者条件独立，并将 P 与 Q 之间的最小 KL 散度计算为失真度量。
• 引入四个关键泛函：R（正则化）、D（失真）、C（容量）和 S（熵），用于对真实世界中互信息项的变分界。
• 推导出自由能目标 J(γ,δ,σ) = R + δD + γC + σS，其最小值对应于对数配分函数 −σ log Z，代表平衡态。
• 将训练过程建模为参数分布上的马尔可夫链，证明其相对于平衡分布的 KL 散度单调递减，类似于热力学第二定律。
• 利用变分原理证明，非平衡态与平衡态之间目标值的差异 ΔJ 与 KL 散度成正比，从而为优化动力学提供热力学解释。

实验结果

研究问题

• RQ1 如何将表征学习形式化为真实世界与理想化建模世界之间相对熵的最小化？
• RQ2 预测信息在大型数据集中对信噪比的限制作用是什么？它如何约束学习容量？
• RQ3 四个泛函（R, D, C, S）如何共同定义一个几何边界，从而统一多种学习目标？
• RQ4 机器学习中的优化动力学能否类比为热力学过程，特别是在自由能单调下降方面？
• RQ5 在平衡解中，对数配分函数与非平衡态和平衡态目标之间的关系有何理论意义？

主要发现

• 预测信息 I_pred(𝒯_N) 随数据集规模 N 呈次线性增长，意味着仅有趋于零的训练数据信息对泛化有用。
• World P 与 World Q 之间最小相对熵为 𝒥 = I_P − I_Q，量化了将现实投影到理想模型时引入的失真。
• 四个泛函 R、D、C 和 S 对真实世界中互信息项进行变分界，形成一个四维最优边界，统一了各类学习目标。
• 自由能目标 J(γ,δ,σ) 在 −σ log Z 处取得最小值，其中 Z 为配分函数，该最小值对应于马尔可夫过程的平衡分布。
• 任意参数分布 p(θ) 与平衡分布之间的 KL 散度为 ΔJ/σ，证明了目标 J 在优化过程中单调递减。
• J 随时间的单调下降意味着优化动力学自然收敛至平衡态，系统的自由能以类似于热力学第二定律的方式减少。