[论文解读] Shannon entropy for imprecise and under-defined or over-defined information

Vasile Pătrașcu|arXiv (Cornell University)|Jan 1, 2017

Economic and Technological Innovation被引用 1

一句话总结

本文提出一种两阶段仿射归一化方法——先平移后缩放——将香农熵扩展至欠定义、过定义及不精确信息系统。通过将违反概率单纯形约束（总和 ≠ 1）的向量转换为有效概率分布，该方法使广义模糊与中性模糊信息模型（包括直觉模糊、双模糊及不精确模糊集）的熵计算保持一致，并为每种情形推导出闭式熵公式。

ABSTRACT

Shannon entropy was defined for probability distributions and then its using was expanded to measure the uncertainty of knowledge for systems with complete information. In this article, it is proposed to extend the using of Shannon entropy to under-defined or over-defined information systems. To be able to use Shannon entropy, the information is normalized by an affine transformation. The construction of affine transformation is done in two stages: one for homothety and another for translation. Moreover, the case of information with a certain degree of imprecision was included in this approach. Besides, the article shows the using of Shannon entropy for some particular cases such as: neutrosophic information both in the trivalent and bivalent case, bifuzzy information, intuitionistic fuzzy information, imprecise fuzzy information, and fuzzy partitions.

研究动机与目标

• 将香农熵从标准概率分布扩展至信息不完整、不一致或不精确的系统。
• 解决当分量总和接近零时传统归一化方法（如除以小分母）引起的不稳定性问题。
• 为广义模糊模型（包括中性模糊、直觉模糊及双模糊集）提供统一的不确定性计算框架。
• 确保熵值保持在 [0,1] 范围内，并在等价信息表示之间保持不确定性等价性。
• 使模糊划分及具有明确定义不精确参数的不精确模糊集的熵计算成为可能。

提出的方法

• 提出两步仿射变换：首先通过平移将欠定义或不精确的向量转换为过定义向量，然后通过同位似（缩放）将其归一化至概率单纯形。
• 利用原始向量与 n 维及 (n+1) 维空间中概率单纯形顶点之间保持距离的准则，推导平移参数 ϑ。
• 使用公式 ϑ = (δ² + nσ²)¹ᐟ² − δ / n，其中 δ 为确定性指数，σ 为不精确参数，以确保平移后向量的和 ≥ 1。
• 通过同位似 ˆpᵢ = pᵢ / Σpᵢ 将平移后的向量归一化为有效概率分布。
• 通过对各类模型（中性模糊、直觉模糊、双模糊等）的特定参数应用归一化变换，推导出其各自的熵公式。
• 通过验证归一化后的模糊度满足 ˆμ + ˆν = 1 且熵值与已知熵原理一致，验证该方法的有效性。

实验结果

研究问题

• RQ1 如何在分量总和不等于 1（即欠定义或过定义）的信息系统中，有意义地扩展香农熵？
• RQ2 在归一化违反概率单纯形约束的向量时，何种变换能保持不确定性等价性？
• RQ3 如何在归一化过程中整合不精确度量（如中性模糊或模糊集中的不精确度）而不扭曲不确定性度量？
• RQ4 能否通过单一仿射变换框架统一处理多种模糊与中性模糊信息模型的熵计算？
• RQ5 在该归一化框架下，直觉模糊集、双模糊集及不精确模糊集的闭式熵表达式是什么？

主要发现

• 所提出的仿射归一化方法通过结合平移与同位似，成功将香农熵扩展至欠定义与过定义信息系统。
• 该方法通过先将向量平移至过定义状态再进行缩放，避免了因分母过小导致的不稳定性。
• 对于中性模糊信息，二值情形下可得归一化模糊对 (ˆμ, ˆν)，满足 ˆμ + ˆν = 1，从而支持标准熵计算。
• 在直觉模糊情形下，归一化度量为 ˆμ = (μ + π)/(1 + π) 与 ˆν = (ν + π)/(1 + π)，其中 π = 1 − μ − ν。
• 对于不精确模糊集，熵公式通过引入不精确参数 σ 表达为 h = 2σ/√2，从而获得明确定义的熵表达式。
• 该方法可推广至模糊划分，通过取最大两个隶属度值定义代表性模糊对，得到双值熵公式。