[论文解读] On Weighted Residual and Past Entropies

Antonio Di Crescenzo, Maria Longobardi|arXiv (Cornell University)|Mar 16, 2007

Statistical Mechanics and Entropy参考文献 17被引用 42

一句话总结

本文引入加权残差熵与过往熵作为依赖于位移的信息度量，赋予随机寿命的较大值更高权重，从而扩展了经典微分熵。该文研究了其在单调变换下的行为特性，并刻画了具有单调加权熵的分布，为可靠性与神经生物学应用提供了动态框架。

ABSTRACT

We consider a "length-biased" shift-dependent information measure, related to the differential entropy in which higher weight is assigned to large values of observed random variables. This allows us to introduce the notions of "weighted residual entropy" and "weighted past entropy", that are suitable to describe dynamic information of random lifetimes, in analogy with the entropies of residual and past lifetimes introduced in [9] and [6], respectively. The obtained results include their behaviors under monotonic transformations.

研究动机与目标

• 解决经典微分熵因与位移无关而导致的局限性，该局限性在可靠性与神经元活动等应用中无法反映事件的价值或发生时间。
• 提出加权残差熵与过往熵作为动态、依赖于位移的信息度量，强调随机寿命的较大取值。
• 通过新分布类（DWURL、IWURL、DWUPL、IWUPL）刻画这些熵的单调性行为，用于寿命建模。
• 分析加权熵在严格单调函数下的变换性质，给出变换后分布的精确表达式。

提出的方法

• 定义加权残差熵 $ H^w(t) = -\int_t^\infty x f(x) \log f(x) \, dx / \overline{F}(t) $ 与加权过往熵 $ \overline{H}^w(t) = -\int_0^t x f(x) \log f(x) \, dx / F(t) $，引入长度加权因子 $ x $。
• 推导在 $ Y = \phi(X) $ 下 $ H_Y^w(t) $ 与 $ \overline{H}_Y^w(t) $ 的变换规则，其中 $ \phi $ 为严格单调、连续且可微函数。
• 通过变量替换 $ y = \phi(x) $ 与条件密度变换，推导出在单调变换下加权熵的一般形式。
• 以 $ H^{w,\phi}(t) $ 与 $ \overline{H}^{w,\phi}(t) $ 表达变换后的熵，其积分形式涉及 $ \phi(x) f(x) \log f(x) $ 在生存或失效区域上的积分。
• 分析特殊情形如缩放（$ Y = aX $）与位置平移（$ Y = X + b $），推导出含 $ \log a $ 与 $ H(t) $ 的显式公式。
• 定义并研究新分布类：DWURL（递减加权不确定性残差寿命）、IWURL、DWUPL 与 IWUPL，基于 $ H^w(t) $ 与 $ \overline{H}^w(t) $ 的单调性。

实验结果

研究问题

• RQ1 如何修改微分熵以反映观测寿命的实际数值，特别是强调较大的寿命值？
• RQ2 加权残差与过往熵在严格单调函数下的变换性质是什么？
• RQ3 哪些分布表现出加权残差与过往熵的单调性行为？其单调性的条件是什么？
• RQ4 缩放与位置平移如何影响加权残差与过往熵？能否推导出闭式表达式？
• RQ5 新熵度量能否用于定义具有动态不确定性行为的有意义寿命分布类？

主要发现

• 加权残差熵 $ H^w(t) $ 与加权过往熵 $ \overline{H}^w(t) $ 依赖于位移，对随机变量的较大取值赋予更高权重，与经典微分熵不同。
• 对于 $ X \sim U(0,\nu) $，当且仅当 $ \nu \leq e $ 时，$ X $ 为 DWURL；当且仅当 $ \nu \leq 1/e $ 时，$ X $ 为 DWUPL，表明其对支持区间大小具有明确依赖性。
• 速率为 $ \lambda $ 的指数分布为 DWURL 当且仅当 $ \lambda \geq e $，为 IWURL 当且仅当 $ \lambda \leq e $，表明单调性存在临界阈值。
• 在缩放 $ Y = aX $ 下，$ H_{aX}^w(t) = a H^w(t/a) + a \delta(t/a) \log a $，其中 $ \delta(t) $ 为均值残差寿命，表明其显式依赖于尺度与对数尺度因子。
• 在位置平移 $ Y = X + b $ 下，$ H_{X+b}^w(t) = H^w(t-b) + b H(t-b) $，表明加权熵随位移线性增加，并依赖于原始熵。
• 变换公式 (28) 与 (29) 完全刻画了加权熵在任意严格单调变换 $ \phi $ 下的行为，分别给出递增与递减情形的表达式。