[论文解读] Similarity-Sensitive Entropy: Induced Kernels and Data-Processing Inequalities

Joseph Samuel Miller|arXiv (Cornell University)|Jan 6, 2026

Statistical Mechanics and Entropy被引用 0

一句话总结

本论文在核化概率空间中定义并分析一个对相似性敏感的熵 H_K，通过法则诱导的诱发核建立数据处理不等式，并在一般（非分区）核下探索条件信息和互信息的类比。

ABSTRACT

We study an entropy functional $H_K$ that is sensitive to a prescribed similarity structure on a state space. For finite spaces, $H_K$ coincides with the order-1 similarity-sensitive entropy of Leinster and Cobbold. We work in the general measure-theoretic setting of kernelled probability spaces $(Ω,μ,K)$ introduced by Leinster and Roff, and develop basic structural properties of $H_K$. Our main results concern the behavior of $H_K$ under coarse-graining. For a measurable map $f:Ω o Y$ and input law $μ$, we define a law-induced kernel on $Y$ whose pullback minimally dominates $K$, and show that it yields a coarse-graining inequality and a data-processing inequality for $H_K$, for both deterministic maps and general Markov kernels. We also introduce conditional similarity-sensitive entropy and an associated mutual information, and compare their behavior to the classical Shannon case.

研究动机与目标

• 激励并形式化一个尊重状态空间上预设相似性结构的熵泛函 H_K。
• 为核化概率空间建立测度理论框架，以及保持 H_K 的统一表示。
• 刻画 H_K 在可测映射与粗粒化下的行为，在该设定中建立数据处理不等式。
• 在 H_K 框架内引入以 X 为中心的条件熵和互信息。
• 区分分区（块对角）核与一般模糊核，并研究相关的不等式与不变量。

提出的方法

• 定义 H_K(p) = - sum_x p_x log((Kp)_x) 对于具有相似性矩阵 K 的离散 X。
• 将其扩展到核化概率空间 (Ω, μ, K)，使用典型性函数 τ(ω) = ∫ K(ω, ω′) dμ(ω′)，并得到 H_K(μ) = - ∫ log τ(ω) dμ(ω)。
• 展示在保持 H_K 的统一表示的情况下的统一表示，并证明在典型性的温和正性条件下，H_K 作为有限均匀分布熵的极限出现。
• 通过逐纤维的本质上确界构造法则诱导核 K^{Y,μ}，并回组合得到 K^{f,μ}，以建立数据处理不等式 H_K(μ) ≥ H_{K^{f,μ}}(μ) = H_{K^{Y,μ}}(f_#μ)。
• 提供提升性论证，将确定性 DPI 拓展到马尔可夫核，并证明诱导核的极小性性质。
• 定义以 X 为中心的条件熵 H_K(X|Y) 与互信息 I_K(X;Y)，并分析它们在分区核与非分区核下的行为差异。

实验结果

研究问题

• RQ1 如何定义并表示对状态空间预设相似性结构敏感的熵泛函？
• RQ2 相似性敏感熵在可测映射与粗粒化下的行为如何，是否可以在此设定中建立数据处理不等式？
• RQ3 在 H_K 框架下，条件信息与互信息的类比是什么，与香农理论在模糊核中的差异如何？
• RQ4 是否可以利用典型性分布来区分分区核与真正的模糊核，哪些不变量会出现？
• RQ5 在表示学习与实验设计中，相似性敏感信息量的任务驱动应用有哪些潜在方向？

主要发现

• H_K(μ) 在核化概率空间上定义良好，可以在 ([0,1], λ) 上以统一表示表示，同时保持其数值。
• 给定一个可测映射 f，存在目标上的法则诱导核 K^{Y,μ}，以及源上的回组合核 K^{f,μ}，得到数据处理不等式 H_K(μ) ≥ H_{K^{f,μ}}(μ) = H_{K^{Y,μ}}(f_#μ)。
• 对于确定性映射，纤维最大构造给出一个规范诱导核，在所有输入下满足 DPI 的点对点最小性。
• 对于一般模糊核，H_K(X|Y) 不一定满足 H_K(X|Y) ≤ H_K(X)；提供了一个有限的反例，与分区核（块对角）情形中通常的条件不等式形成对比。
• 典型性 τ(ω) 的分布作为同构不变量，能将真正的模糊核与分区核区分开来。
• 该框架支持与任务相关的相似性敏感信息增益，并对表示学习和最优实验设计的应用提出潜在方向。