[论文解读] Trivergence of Probability Distributions, at glance

Juan‐Manuel Torres‐Moreno|arXiv (Cornell University)|Jun 20, 2015

Statistical Mechanics and Entropy参考文献 1被引用 3

一句话总结

本文提出了概率分布三重发散（TPD）的概念，这是一种新颖的度量方法，用于使用Kullback-Leibler和Jensen-Shannon等发散度量来量化三元组概率分布之间的相似性。该文提出了两种计算方法——发散度乘积与复合发散函数，使该方法在文本挖掘和信息检索中得以应用，并通过概率平滑技术处理未见事件。

ABSTRACT

In this paper we introduce the intuitive notion of trivergence of probability distributions (TPD). This notion allow us to calculate the similarity among triplets of objects. For this computation, we can use the well known measures of probability divergences like Kullback-Leibler and Jensen-Shannon. Divergence measures may be used in Information Retrieval tasks as Automatic Text Summarization, Text Classification, among many others.

研究动机与目标

• 形式化一种用于衡量三个概率分布之间相似性的新度量方法，称为三重发散，以扩展传统的成对发散度量。
• 解决成对发散度量在捕捉数据分析和信息检索中三个对象之间复杂关系方面的局限性。
• 开发一种平滑的三重发散框架，利用基础概率平滑技术处理未见事件。
• 提供两种计算上可行的方法——发散度乘积与复合发散函数，以实现三重发散的实际应用。
• 在自动文本摘要和分类等文本相关任务中展示其适用性，基于发散度的相似性度量。

提出的方法

• 提出三重发散度量 τ 作为三个成对发散度的乘积：τ^π(p||q||r) = D(p||q) · D(q||r) · D(p||r)，按分布基数排序以确保一致性。
• 引入复合发散函数 τ^c(p||q||r) = D[p || D(q||r)/|q∪r|]，将 q 与 r 之间的发散视为一个概率分布，用于与 p 进行比较。
• 应用基本平滑技术处理零概率事件：对于未见项目，分配概率 1/|T|，其中 |T| = |p| + |q| + |r|。
• 使用Kullback-Leibler（KL）和Jensen-Shannon（JS）发散作为基础发散度量，由于JS发散具有对称性和度量性质，优先选用。
• 推导基于JS发散的三重发散的显式公式，包括对 p、q 和 r 的7个集合划分区域（如 p∩q∩r、p\(q∪r) 等）的分情况分解。
• 采用以2为底的对数评分，并通过复合函数中定义的极限行为处理边界情况（如 D(q||r) = 0）。

实验结果

研究问题

• RQ1 如何为三个概率分布定义一种对称且有意义的相似性度量，超越成对比较？
• RQ2 基于现有发散函数的三重发散度量具有怎样的数学与计算特性？
• RQ3 如何有效将平滑技术整合到三重发散计算中，以处理经验分布中的未见事件？
• RQ4 在实际应用中，哪种公式——发散度乘积还是复合发散——更能保持可解释性与度量一致性？
• RQ5 三重发散能否在真实世界的NLP任务（如基于标准发散度量的文本摘要和分类）中有效应用？

主要发现

• 三重发散度量 τ^π(p||q||r) = D(p||q) · D(q||r) · D(p||r) 提供了一种基于乘积的相似性评分，其值随成对差异增大而增加，通过基数排序确保一致性。
• 复合发散公式 τ^c(p||q||r) = D[ p || D(q||r)/|q∪r| ] 将 q 与 r 之间的 JS 发散视为归一化的概率分布，从而实现与 p 的分层比较。
• 通过为未见项目分配概率 1/|T| 的平滑处理，确保了数值稳定性，并避免了基于 KL 的计算中出现无穷大发散值。
• 推导出 D_JS(q||r) 和 τ^c_JS(p||q||r) 的显式解析表达式，按 p、q 和 r 的 Venn 图中 7 个互不相交区域进行分解。
• 由于复合函数中的平滑与归一化处理，即使某些分布互不相交，Jensen-Shannon 三重发散仍被证明是良好定义且可计算的。
• 该框架支持在信息检索和 NLP 任务中的实际部署，三重发散作为超越成对发散的高阶相似性度量。