[论文解读] Weighted cumulative entropies: An extension of CRE and CE

Yuri Suhov, Salimeh Yasaei Sekeh|arXiv (Cornell University)|Jul 25, 2015

Neural Networks and Applications参考文献 7被引用 6

一句话总结

本文引入了加权累积熵（WCRE 和 WCE），作为累积残余熵和累积熵度量的推广，使用任意非负权函数。它建立了关键性质，包括通过加权平均不活动/剩余时间的表示，推导出界和不等式，并为威布尔分布和指数分布下的 WCRE 提供了紧致上界，应用于统计估计和信息散度。

ABSTRACT

We generalize the weighted cumulative entropies (WCRE and WCE), introduced in [5], for a system or component lifetime. Representing properties of cumulative entropies, several bounds and inequalities for the WCRE is proposed

研究动机与目标

• 通过引入一个通用的非负权函数，扩展累积残余和累积熵度量。
• 建立加权累积熵的理论性质，包括通过加权平均不活动时间和加权平均剩余时间的表示。
• 在特定参数模型下，特别是威布尔和指数分布下，推导出 WCRE 的紧致上界。
• 为生存函数建立不等式和散度度量（例如，加权 Kullback-Leibler 散度）。
• 提供一个基于加权熵散度的统计估计和模型比较框架。

提出的方法

• 使用通用权函数 φ(x) 和生存函数/累积分布函数，定义加权累积残余熵（WCRE）和加权累积熵（WCE）。
• 建立 WCRE 和 WCE 可表示为加权平均不活动时间（WMIT）和加权平均剩余时间（WMRT）函数的期望。
• 引入生存函数之间的加权 Kullback-Leibler 散度，证明在 φ(x)[F̄(x)−Ḡ(x)] 积分的正性条件下，其非负性。
• 应用对数-和不等式推导出 WCRE 的上界，特别是与指数分布和威布尔分布的关系。
• 使用变换 ψ(x) = ∫₀ˣ φ(t) dt，将 WCRE 与涉及 φ 和生存函数的期望联系起来。
• 在特定矩约束下，推导出以威布尔分布参考变量表示的 WCRE 的紧致上界，且给出等式成立的条件。

实验结果

研究问题

• RQ1 如何使用任意非负权函数推广累积熵度量？
• RQ2 加权累积残余熵（WCRE）和加权累积熵（WCE）的关键性质是什么，例如其在平均不活动/剩余时间中的表示？
• RQ3 在什么条件下，生存函数之间的加权 Kullback-Leibler 散度是非负的？
• RQ4 当底层分布已知或假设为威布尔或指数分布时，WCRE 的最紧致上界是什么？
• RQ5 如何利用矩约束和对数-和不等式对 WCRE 进行估计或界定？

主要发现

• WCRE 和 WCE 分别表示为加权平均不活动时间（WMIT）和加权平均剩余时间（WMRT）的期望，提供了概率解释。
• 若 ∫φ(x)[F̄(x)−Ḡ(x)]dx ≥ 0，则生存函数之间的加权 Kullback-Leibler 散度非负，且当 Ḡ/Ḟ = 1 几乎处处相对于 F̄ 时取等。
• 对于累积分布函数为 F 的随机变量 X，在特定矩和权函数约束下，WCRE 的上界不超过威布尔分布变量的 WCRE。
• 推导出 WCRE 的上界为 λ^q [𝔼[Wib][ψ*q(X)] − ψ*q(0)]，其中 λ 满足 λ^q = (c_p / (𝔼[ψ(X)] − ψ(0)))^p，c_p = Γ(1 + 1/p)。
• 当使用均值为 λ⁻¹ = 𝔼[ψ(X)] − ψ(0) 的指数分布时，在 ∫xφ(x)[F̄(x) − F̄^Exp(x)]dx ≥ 0 条件下可获得更紧的界。
• 定理 4.5 的界表明，WCRE(X) ≤ 𝔼[ψ(X)] − ψ(0) 乘以一个涉及 λ 的对数项，最终以指数分布参考变量表示上界。