[论文解读] The use of spatial information in entropy measures

Linda Altieri, Daniela Cocchi+1 more|arXiv (Cornell University)|Mar 17, 2017

Advanced Statistical Methods and Models参考文献 22被引用 12

一句话总结

本文提出了一种新颖的时空熵框架，通过使用双变量分布扩展香农熵，以建模空间依赖性，将总熵分解为空间互信息（来自位置的信息）和空间残差熵（剩余异质性）。该方法确保了在不同距离类别上的可加性，并支持在多尺度下对空间模式进行详细分析，为现有空间熵度量提供了一种更具灵活性和可解释性的替代方案。

ABSTRACT

The concept of entropy, firstly introduced in information theory, rapidly became popular in many applied sciences via Shannon's formula to measure the degree of heterogeneity among observations. A rather recent research field aims at accounting for space in entropy measures, as a generalization when the spatial location of occurrences ought to be accounted for. The main limit of these developments is that all indices are computed conditional on a chosen distance. This work follows and extends the route for including spatial components in entropy measures. Starting from the probabilistic properties of Shannon's entropy for categorical variables, it investigates the characteristics of the quantities known as residual entropy and mutual information, when space is included as a second dimension. This way, the proposal of entropy measures based on univariate distributions is extended to the consideration of bivariate distributions, in a setting where the probabilistic meaning of all components is well defined. As a direct consequence, a spatial entropy measure satisfying the additivity property is obtained, as global residual entropy is a sum of partial entropies based on different distance classes. Moreover, the quantity known as mutual information measures the information brought by the inclusion of space, and also has the property of additivity. A thorough comparative study illustrates the superiority of the proposed indices.

研究动机与目标

• 开发一种空间熵度量，能够正确处理空间依赖性，同时保持信息论中的概率性和可加性属性。
• 将总熵分解为空间互信息（来自位置的信息）和空间残差熵（剩余异质性），以更清晰地解释空间效应。
• 克服现有空间熵度量的局限性，这些度量依赖于固定的距离阈值或仅考虑相邻区域（距离 = 1）。
• 提供一种灵活的距离类别框架，允许对多尺度下的空间模式进行分析，而不仅限于最近邻。
• 确保所提出的度量满足可加性属性，从而支持空间异质性的分层分解与全局综合。

提出的方法

• 该方法通过在空间单元对上定义双变量分布来建模空间依赖性，其中每对单元按距离类别进行分类。
• 空间残差熵通过不同距离类别的部分熵的加权和来计算，确保在不同距离间具有可加性。
• 空间互信息源自空间对的联合分布，用于量化空间位置带来的信息贡献。
• 该方法使用无序的空间单元对，以避免方向性偏差，并支持在每个距离范围内的熵贡献分解。
• 距离类别基于空间邻近性定义，权重来源于每个距离类别的概率，以保持其在全球熵中的相对重要性。
• 该框架基于信息论，利用香农熵、残差熵和互信息在双变量空间背景下的概率属性。

实验结果

研究问题

• RQ1 如何在保持其概率性和可加性属性的前提下，正式地将空间依赖性整合到熵度量中？
• RQ2 空间位置在分类变量整体异质性中贡献了多少，以及如何对其进行量化？
• RQ3 将熵分解为空间互信息和空间残差熵，是否能提供比单变量空间熵度量更深入的见解？
• RQ4 不同距离类别如何贡献于空间关联性，是否可以独立且可加地进行分析？
• RQ5 所提出的度量是否能比仅考虑最近邻或固定邻接结构的现有指数更有效地检测空间模式？

主要发现

• 所提出的空间残差熵通过在不同距离类别上求和部分熵，满足可加性属性，从而支持异质性的分层分解。
• 空间互信息量化了包含空间位置所获得的信息，同样具有可加性，支持对空间依赖性的距离特定分析。
• 该方法优于现有指数（如O’Neill的熵和Leibovici的度量），因为它分析了所有距离范围，而不仅限于相邻区域（距离 = 1）。
• 该框架允许灵活定义距离类别，将信息量较少的距离类别聚合，而对信息量较多的类别进行详细分析，从而增强可解释性。
• 空间互信息不受研究变量类别数的影响，因此在不同数据配置下均具有鲁棒性。
• 该方法提供了一套完整的空间数据分析工具，使全局熵、互信息和部分熵可协同使用，以在多尺度下理解空间行为。