[论文解读] Profile Entropy: A Fundamental Measure for the Learnability and Compressibility of Discrete Distributions

Hao Yi, Alon Orlitsky|arXiv (Cornell University)|Feb 26, 2020

Diffusion and Search Dynamics参考文献 53被引用 4

一句话总结

本文引入了轮廓熵（profile entropy）作为离散分布估计、推断与压缩的统一基础度量。研究表明，轮廓熵决定了分布的可学习性与可压缩性，最优算法能够实现与最佳可能估计器和压缩器相媲美的性能，且所有算法均自适应地基于数据内在复杂度（由其轮廓熵捕获）进行设计。

ABSTRACT

The profile of a sample is the multiset of its symbol frequencies. We show that for samples of discrete distributions, profile entropy is a fundamental measure unifying the concepts of estimation, inference, and compression. Specifically, profile entropy a) determines the speed of estimating the distribution relative to the best natural estimator; b) characterizes the rate of inferring all symmetric properties compared with the best estimator over any label-invariant distribution collection; c) serves as the limit of profile compression, for which we derive optimal near-linear-time block and sequential algorithms. To further our understanding of profile entropy, we investigate its attributes, provide algorithms for approximating its value, and determine its magnitude for numerous structural distribution families.

研究动机与目标

• 识别一个能捕捉离散分布内在复杂度的度量，用于估计、推断与压缩。
• 在单一理论框架下统一分布估计、对称属性推断与轮廓压缩的概念。
• 设计性能保证直接依赖于轮廓熵的自适应算法，实现与最佳可能估计器和压缩器的近似最优性能。
• 刻画结构化分布族（如对数凹、幂律与直方图分布）的轮廓熵大小。
• 设计最优的近线性时间轮廓压缩算法，包括分块与顺序两种形式。

提出的方法

• 本文将样本的轮廓定义为符号频率的多重集，并引入轮廓熵作为该多重集的香农熵。
• 使用泊松抽样简化轮廓分布的分析，并推导出轮廓维度与熵的集中不等式。
• 引入一个简化的代理量 $ H^{ ext{S}}_n(p) $ 以近似轮廓熵，从而实现对其大小的更紧密分析。
• 利用概率论工具（包括中位数技巧及高维离散椭球体积的界）推导理论保证。
• 通过基于轮廓的编码方案构建最优压缩算法，分块与顺序变体均实现了接近最优的压缩率。
• 本文利用PML（轮廓最大似然）与排序分布估计，将轮廓熵与对称属性估计及均匀性检验相联系。

实验结果

研究问题

• RQ1 轮廓熵如何影响分布估计相对于最佳自然估计器的速度？
• RQ2 在多大程度上可以高效推断离散分布的对称属性？轮廓熵在多大程度上刻画了这一速率？
• RQ3 轮廓压缩的根本极限是什么？能否设计出达到该极限的最优算法？
• RQ4 轮廓熵在对数凹、幂律与直方图分布等结构化分布族中表现如何？
• RQ5 轮廓熵能否被高效近似？其集中性质如何？

主要发现

• 轮廓熵决定了分布估计的竞争力比率：算法可实现与最佳可能估计器相差常数因子以内的性能，其保证依赖于轮廓熵。
• 轮廓熵刻画了对称属性推断的速率，最优估计器在任何分布族上均能实现与最佳标签不变估计器相媲美的性能。
• 轮廓压缩的根本限制由轮廓熵决定，本文提出了达到该极限的最优近线性时间分块与顺序压缩算法。
• 对于对数凹与幂律分布，轮廓熵被 $ O(\log n) $ 有界，表明其具有低内在复杂度与高效可学习性。
• 代理量 $ H^{ ext{S}}_n(p) $ 对期望轮廓熵提供了近乎紧致的近似，从而实现了对各类分布族中轮廓熵大小的精确刻画。
• 对于多变量离散高斯分布，轮廓熵被有界为 $ \mathcal{O}(\log n) \left(1 + \min\left\{ \frac{n}{C}, \gamma_d (\alpha_\Sigma \cdot \beta_{d,n})^d C \right\} \right) $，其中 $ C $ 为与分布支撑相关的归一化常数。