[论文解读] Three tutorial lectures on entropy and counting

David Galvin|arXiv (Cornell University)|Jun 30, 2014

Limits and Structures in Graph Theory参考文献 43被引用 31

一句话总结

本文提出了一项关于使用熵作为组合计数工具的教程，通过概率推理展示了香农熵如何为离散集合的大小提供界限。该方法被应用于解决匹配、独立集、图同态和反链等问题，关键结果包括对正则二分图中同态数量的紧致上界，以及对0-1矩阵中永久行列式最大值的改进估计。

ABSTRACT

We explain the notion of the {\em entropy} of a discrete random variable, and derive some of its basic properties. We then show through examples how entropy can be useful as a combinatorial enumeration tool. We end with a few open questions.

研究动机与目标

• 介绍熵作为一种工具，通过概率推理来估计组合定义集合的大小。
• 展示熵不等式（尤其是Shearer引理和次可加性）如何在极值组合学中产生紧致界限。
• 通过基于熵的证明，统一并解释组合学中的关键结果（例如关于匹配、独立集和永久行列式的结果）。
• 提出基于熵的计数中的开放问题，特别是关于正则图中同态和匹配的问题。
• 为组合学与图论领域的研究人员提供一份自包含的教程，介绍信息论方法在组合计数中的应用。

提出的方法

• 将离散随机变量的熵定义为 $ H(X) = ∑_x -p(x)\log p(x) $，其中 $ 0\log 0 = 0 $，采用以2为底的对数。
• 建立熵的核心性质：次可加性、条件熵，以及Shearer引理，后者通过边缘熵来界定联合变量的熵。
• 利用大小为 $ n $ 的集合上均匀分布的随机变量达到最大熵 $ \log_2 n $ 的事实，将熵与集合大小估计直接关联。
• 应用Shearer引理和条件熵，推导出组合量（如独立集、匹配和图同态数量）的界限。
• 利用基于熵的归纳法和极值论证，证明0-1矩阵的永久行列式（Brégman定理）和正则图中合法着色数的界限。
• 利用熵不等式重新证明或改进极值组合学中的已知结果，包括对反链和哈密顿圈的界限。

实验结果

研究问题

• RQ1 熵如何用于估计组合定义集合（如图中独立集的数量）的大小？
• RQ2 Shearer引理和次可加性在推导组合计数问题的紧致界限中起什么作用？
• RQ3 熵能否为正则图中匹配、同态和着色结果的证明提供统一框架？
• RQ4 基于熵的推理如何改进或简化极值组合学中已知的证明，例如0-1矩阵的永久行列式？
• RQ5 基于熵的计数中存在哪些开放问题，特别是关于正则图中同态和匹配的数量？

主要发现

• 熵为从正则二分图到任意固定目标图的同态数量提供了紧致上界，推广了Kahn关于独立集的早期结果。
• d-正则图的合法 $ k $-着色数最多为 $ k \cdot (k-1)^{d/2} $，在二分图情况下取等。
• 通过熵方法重新证明了Brégman定理：在固定行和的0-1矩阵中，永久行列式的最大值有紧致界，且该界对0-1矩阵是紧的。
• 正则二分图中独立集的数量最多为 $ 2^{n/2} $，其中 $ n $ 为顶点数，在不相交的 $ K_{d,d} $ 并集情况下取等。
• 基于熵的方法对正则二分图中固定大小的匹配数给出了改进的上界，Ilinca与Kahn提供了目前最优的渐近估计。
• 熵方法为Dirac图（最小度 $ \geq n/2 $）中哈密顿圈的数量提供了非平凡的下界，补充了已知的极值结果。