[论文解读] Reflections on Shannon Information: In search of a natural information-entropy for images

Kieran G. Larkin|arXiv (Cornell University)|Sep 5, 2016

Medical Image Segmentation Techniques参考文献 7被引用 35

一句话总结

本文提出了一种基于图像梯度向量场（del）的新型二维信息熵度量方法，称为'delentropy'，结合香农的联合熵与Papoulis的广义采样理论，构建了一个对称、各向同性且简洁的熵模型。该方法定义了一个可计算的'deldensity'概率密度函数，能够捕捉空间结构与像素共现特性，在图像复杂度评估中优于传统的直方图熵和无损压缩基准。

ABSTRACT

It is not obvious how to extend Shannon's original information entropy to higher dimensions, and many different approaches have been tried. We replace the English text symbol sequence originally used to illustrate the theory by a discrete, bandlimited signal. Using Shannon's later theory of sampling we derive a new and symmetric version of the second order entropy in 1D. The new theory then naturally extends to 2D and higher dimensions, where by naturally we mean simple, symmetric, isotropic and parsimonious. Simplicity arises from the direct application of Shannon's joint entropy equalities and inequalities to the gradient (del) vector field image embodying the second order relations of the scalar image. Parsimony is guaranteed by halving of the vector data rate using Papoulis' generalized sampling expansion. The new 2D entropy measure, which we dub delentropy, is underpinned by a computable probability density function we call deldensity. The deldensity captures the underlying spatial image structure and pixel co-occurrence. It achieves this because each scalar image pixel value is nonlocally related to the entire gradient vector field. Both deldensity and delentropy are highly tractable and yield many interesting connections and useful inequalities. The new measure explicitly defines a realizable encoding algorithm and a corresponding reconstruction. Initial tests show that delentropy compares favourably with the conventional intensity-based histogram entropy and the compressed data rates of lossless image encoders (GIF, PNG, WEBP, JP2K-LS and JPG-LS) for a selection of images. The symmetric approach may have applications to higher dimensions and problems concerning image complexity measures.

研究动机与目标

• 为解决基于香农理论的二维图像缺乏自然、对称且各向同性的信息熵度量问题。
• 利用梯度（del）向量场作为图像结构的自然表征，将香农的二阶熵扩展至高维空间。
• 构建一个可计算的概率密度函数（'deldensity'），以捕捉非局部像素共现与空间依赖性。
• 基于新熵模型，设计一个可实现的编码与重构算法。
• 将新度量与传统的直方图熵及无损图像压缩标准（GIF、PNG、WEBP、JP2K-LS、JPG-LS）进行对比评估。

提出的方法

• 基于香农联合熵与带限信号的采样理论，推导出一种对称的1D二阶熵。
• 通过将标量图像建模为结构由其梯度向量场编码的场，将1D公式推广至2D。
• 应用Papoulis的广义采样展开，将梯度场的数据率减半，确保简洁性与高效编码。
• 将'deldensity'定义为梯度向量场上可计算的概率密度函数，以捕捉图像的空间结构与共现特性。
• 利用梯度向量场的联合熵，定义'delentropy'作为新的图像熵度量。
• 基于delentropy模型与deldensity分布，构建一个可实现的编码与重构流程。

实验结果

研究问题

• RQ1 如何在保持对称性、各向同性与简洁性的同时，自然地将香农信息熵扩展至二维图像？
• RQ2 梯度向量场在捕捉图像像素值内在空间结构与共现特性方面起到何种作用？
• RQ3 能否从梯度场中推导出一个可计算的概率密度函数（'deldensity'），以反映有意义的图像结构并支持熵的计算？
• RQ4 所提出的delentropy度量与传统的基于强度的直方图熵及无损压缩速率相比，其定量表现如何？
• RQ5 新熵模型能否支持一种实用且可实现的图像编码与重构算法？

主要发现

• delentropy度量具有对称性、各向同性与简洁性，是香农联合熵在梯度向量场上的直接应用结果。
• deldensity函数可计算，且能捕捉非局部空间依赖性，真实反映了图像的内在结构，而不仅限于局部强度统计。
• 通过应用Papoulis的广义采样，该方法将梯度场的数据率降低一半，确保了效率与简洁性。
• 初步测试表明，delentropy在一系列测试图像上表现优于基于直方图的熵度量及无损压缩标准（GIF、PNG、WEBP、JP2K-LS、JPG-LS）。
• 新熵模型支持一种可实现的编码与重构算法，具备实际应用潜力。
• 该方法揭示了熵、梯度场与图像复杂度之间新的数学联系及有用的不等式关系。